云原生数据仓库AnalyticDB MySQL最佳实践 什么是云原生数据仓库?原分析型数据库Ana lyticDB品牌升级为云原生数据仓库,基于融合数据库、大数据、AI技术于一体的云上企业级数据仓库平台。快速、简便、稳定、安全,快速实现数据价值。
数据仓库领域技术趋势:全量数据、实时计算、云原生。
云原生数据仓库是近年热点
实时数据集成更新能力,解决统数和Hadoop数仓的问题和瓶颈。
传统:问题和瓶颈
集中数仓扩展能力有限
仓库搬迁,重复建设
Hadoop:问题和瓶颈
实时写入,无法实时可见
数据无法update,合并困难
计算结果无法实时化
实时计算能力
秒级的查询计算响应,分钟级ETL流程
行业存储架构:减少数据吞吐量,提高压缩化
计算能力优化
向量化执行,动态编译和CPU指令集兼容
混合负载
CPU时间片公平调度,内存分层复用
ETL批处理能力
Stage by Stage + Pipeline融合
Spill、容错
整合ETL开发调度能力:通过与DMS等产品整合,提供可视化编程开发和任务调度工具
新一代云原生数据仓库Ana lyticDB
云原生数据仓库技术架构
企业级云上数据仓库架构(以Ana lyticDB为引擎构建云上数仓)
优势
实时:实时数据更新
快速:分钟级ETL
性价比:极低存储成本
适用场景
数据量:100GB-10PB
需求:数据实时更新、查
询快、BI+生产应用
存储计算资源规格选择
数据集成开发服务平台选择
用户案例-简单快速搭建实时数据仓库
我们让数据价值在线化