https://openlookeng.io 开源openLooKeng 共建大数据繁荣生态 2022 年5月https://openlookeng.io Content openLooKeng 是什么? openLooKeng 的典型应用场景 openLooKeng 架构解析和关键特性 openLooKeng 开源策略及伙伴帮助计划https://openlookeng.io openLooKeng 打破数据和应用壁垒,快速实现数据价值 数据虚拟化引擎 openLooKeng交互式查询 批查询 SQL, HQL, Flink SQL, J ava API ... Remote clusterMulti -region 跨地域多Multi -syntax 数据语法多Multi -source 数据源多 OLTP OLAP Hadoo pNoSQLOLTP OLAP Hadoo pRemote clusterNoSQL交互式查询 批查询 开发语言多、组件多、开发门槛高用数难1 数据分散,管理复杂,流动性差,查询效率低找数难2 跨源分析需要数据搬迁,效率不佳取数难3统一入口, 化繁为简, 单引擎支持多场景用数极简1 全局数据虚拟视图,高性能查询找数极速2 高效跨源 /跨域协同计算, 数据消费免搬迁取数高效3https://openlookeng.io openLooKeng 统一高效的数据虚拟化引擎,让大数据变简单 跨域协同计算, 广域网的部署,局域网的体验内核增强,高性能查询统一入口, 化繁为简, 单一引擎支持多场景 跨源关联分析,数据消费零搬移 启发式 索引 动态过滤 算子下推 AA 高可用JDBC ODBC SQL REST统一数据访问接口 统一数据源连接框架引擎内核 数据中心 A 数据中心 B 数据中心 C openLooKeng 融合分析 Data Source Connector Data Center Connector ……MySQL PostgreSQLKafka HBaseHive CarbonData ORCParquethttps://openlookeng.io openLooKeng :统一高效的数据虚拟化引擎 互联网 金融 安平 政府 基础设施 鲲鹏 昇腾数据集成、开发、作业调度 数据管理 与分析数据使能 openLooKeng 统一接口( SQL 2003 ) MySQL Hive Spark批| 流 即席ES HBase 3rdParty 电力 3大运营商 社区其他开源技术 https://openlookeng.io openLooKeng 面对行业应用四大场景持续发力 痛点1:两个烟囱,两份数据,管理复杂HIVE 专题数据MySQL 批处理 交互式分析 专题数据批处理 SQL 交互式分析 SQL单引擎覆盖批 /交互式融合分析场景 ETL 痛点2:大数据量和高时效性的双重挑战难以满足实时数据分析场景 风险决策平台 实时计算决策服务 离线分析和挖掘平台决策分析平台 ES HiveHBaseT+1 批量数据历史存档业务和规则管 理平台 T+1 批量数据流处理流事件 行业分析平台 全量数据导入跨数据源关联分析场景 HQL ANSI SQL 数据源 Hive数据源 MPPDB 痛点3:引擎接口不统一,编程模型复杂分析/查询 DC1 数据源 Hive SparkSQL前置机ISV分析平台分析/查询 DC2 数据源 Hive SparkSQL前置机ISV分析平台分析/查询跨域协同分析场景 共享交换平台 痛点4:工作流人工处理,难以支撑 T+0 分析https://openlookeng.io Content openLooKeng 是什么? openLooKeng 的典型应用场景 openLooKeng 架构解析和关键特性 openLooKeng 开源策略及伙伴帮助计划https://openlookeng.io 即席服务提供秒级查询能力 业务场景 /需求 ➢交互式 查询场景,目标是为 数据分析人员提供方便快 捷的即席查询能力 ,性能要求 较高, 秒级 查询 HDFS 大数据集群XXX 即席查询客户端 【效果】XXX 即席查询平台采用 openLooKeng 后:当前业务平滑过渡, 实现查询加速,查询响应提升至 秒级,平 均性能提升 2~10+倍,用户查询效率大大 提升HDFSHIVE/SparkXXX 即席查询客户端 大数据集群交互式分析性能慢 ⅹopenLooKeng 秒级交互式 分析√当前业务痛点 ➢通过Hive 引擎来构建 即席查询 任务 ,查询时间 太长 (5分钟~2小时)性能不满足客户需求openLooKeng 价值 ➢openLooKeng 提供秒级查询 能力,结果 准确率高,增 强了用户对海量数据的 分析能力 ✓中间结果多次落盘 ✓调度效率低✓启发式索引 +执行计划 Cache ,效率高 ✓基于内存计算,无落 盘0100200300400 123456789101112131415161718192021222324POC查询性能对比 Lookeng(s) Hive(s)

pdf文档 安恒 罗旦 openLooKeng合作交流_引擎介绍 2022

文档预览
中文文档 31 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共31页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
安恒 罗旦 openLooKeng合作交流_引擎介绍 2022 第 1 页 安恒 罗旦 openLooKeng合作交流_引擎介绍 2022 第 2 页 安恒 罗旦 openLooKeng合作交流_引擎介绍 2022 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2023-03-04 11:18:06上传分享
加微信群 有优惠
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。