阿里云代理商-阿里云服务器-阿里云数据库-重庆典名科技

数据迁移和数据同步的原理

发布时间: 2022-09-29 14:47:20文章作者: 网站编辑阅读量: 243

  数据迁移和数据同步的原理是什么?DTS系统架构特性说明:1、系统高可用:数据传输服务内部每个模块都有主备架构,保证系统高可用。容灾系统实时检测每个节点的健康状况,一旦发现某个节点异常,会将链路快速切换到其他节点;2、数据源地址动态适配:对于数据订阅及同步链路,容灾系统还会监测数据源的连接地址切换等变更操作,一旦发现数据源发生连接地址变更,它会动态适配数据源新的连接方式,在数据源变更的情况下,保证链路的稳定性。

数据迁移和数据同步的原理

  数据迁移的原理是什么?数据迁移工作原理:
  如果亲们想要购买数据库,可以直接咨询我们的在线客服!我们可以为您提供售前咨询服务,15%左右返现优惠,以及售后技术支持。期待与您的合作!
  数据迁移过程包括三个阶段,即结构迁移、全量数据迁移和增量数据迁移。 如果需要在迁移期间保持源数据库的正常运行,当您在配置迁移任务时,必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。
  1、结构迁移:在迁移数据之前,DTS需要在目标数据库中重新创建数据结构。 对于异构数据库之间的迁移,DTS会解析源数据库的DDL代码,将代码转换成目标数据库的语法,然后在目标数据库中重新创建结构对象。
  2、全量数据迁移:在全量数据迁移阶段,DTS会将源数据库的存量数据全部迁移到目标数据库。 源数据库保持运行状态,在迁移过程中仍不断进行数据更新。 DTS使用增量数据读取模块来获取全量数据迁移过程中发生的数据更新。 当全量数据迁移开始时,增量数据读取模块将被激活。 在全量数据迁移阶段,增量数据会被解析、重新格式化并存储在本地DTS服务器上。

  3、增量数据迁移:当全量数据迁移完成后,DTS会检索本地存储的增量数据,重新格式化,并将数据更新应用到目标数据库中。 此过程将持续下去,直到所有正在进行的数据变更都复制到目标数据库,并且源数据库和目标数据库完全同步。


  数据同步的原理是什么?数据同步的工作原理:
  DTS可以在两个数据源之间同步正在进行的数据变更。 数据同步通常用于OLTP到OLAP的数据传输。 数据同步包括以下两个阶段:
  (1)同步初始化:DTS将源数据库的存量数据加载到目标数据库。
  (2)数据实时同步:DTS同步正在进行的数据变更,并保持源数据库和目标数据库的同步。
  为了同步正在进行的数据变更,DTS使用两个处理事务日志的模块:
  (2)事务日志读取模块:日志读取模块从源实例读取原始数据,经过解析、过滤及标准格式化,最终将数据在本地持久化。日志读取模块通过数据库协议连接并读取源实例的增量日志。如果源数据库为RDS MySQL,那么数据抓取模块通过Binlog dump协议连接源库。
  (2)日志回放模块:日志回放模块从日志读取模块中请求增量数据,并根据用户配置的同步对象进行数据过滤,然后在保证事务时序性及事务一致性的前提下,将日志记录同步到目标实例。
  DTS具备日志读取模块、日志回放模块的高可用,DTS容灾系统一旦检测到链路异常,就会在健康服务节点上断点重启链路,从而有效保证同步链路的高可用。
联系客服免费领取更多阿里云产品新购、续费升级折扣,叠加官网活动折上折更优惠