从其它数据库迁移至PolarDB阿里云MySQL云原生数据库
网站编辑2020-11-06 14:19:041175
典名科技本文主要介绍阿里云PolarDB MySQL 云原生数据库中从其它数据库迁移至PolarDB的帮助文档。从自建MySQL迁移至PolarDB MySQL、从Amazon Aurora MySQL迁移至PolarDB MySQL、从本地MySQL迁移至PolarDB MySQL。阿里云数据库
从自建MySQL迁移至PolarDB MySQL
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），可以帮助您将自建MySQL数据库迁移至PolarDB MySQL。
前提条件
- 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。
- 已创建目标PolarDB MySQL集群。
- 如果您的MySQL数据库部署在本地，那么您需要将DTS服务器的IP地址设置为该数据库远程连接的白名单，允许其访问您的数据库。
注意事项
- DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据库服务不可用。因此您需要在执行数据迁移前评估源库和目标库的性能，同时建议您在业务低峰期执行数据迁移（例如源库和目标库的CPU负载在30%以下）。
- 如果源数据库没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。
- 对于数据类型为FLOAT或DOUBLE的列，DTS会通过
ROUND(COLUMN,PRECISION)来读取该列的值。如果没有明确定义其精度，DTS对FLOAT的迁移精度为38位，对DOUBLE的迁移精度为308位，请确认迁移精度是否符合业务预期。 - 对于迁移失败的任务，DTS会触发自动恢复。在您将业务切换至目标集群前，请务必先结束或释放该任务，避免该任务被自动恢复后，导致源端数据覆盖目标集群的数据。
迁移类型介绍
支持结构迁移、全量数据迁移和增量数据迁移。
说明 同时使用这三种迁移类型可实现在应用不停服的情况下，平滑地完成数据库迁移。
费用说明
| 迁移类型 | 链路配置费用 | 公网流量费用 |
|---|---|---|
| 结构迁移和全量数据迁移 | 不收费。 | 通过公网将数据迁移出阿里云时将收费，详情请参见产品定价。 |
| 增量数据迁移 | 收费，详情请参见产品定价。 |
增量数据迁移阶段支持同步的SQL操作
| 操作类型 | SQL操作语句 |
|---|---|
| DML | INSERT、UPDATE、DELETE、REPLACE |
| DDL |
|
数据库账号的权限要求
| 数据库 | 结构/全量迁移 | 增量迁移 |
|---|---|---|
| 自建MySQL数据库 | SELECT权限 | REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW和SELECT权限 |
| PolarDB集群 | 读写权限 | 读写权限 |
数据库账号创建及授权方法：
- 自建MySQL数据库请参见为自建MySQL创建账号并设置binlog。
- PolarDB集群请参见创建数据库账号。
准备工作
为自建MySQL创建账号并设置binlog
操作步骤
- 在迁移任务列表页面顶部，选择迁移的目标集群所属地域。
- 配置迁移任务的源库和目标库连接信息。
类别 配置 说明 无 任务名称 DTS会自动生成一个任务名称，建议配置具有业务意义的名称（无唯一性要求），便于后续识别。 源库信息 实例类型 根据源库的部署位置进行选择，本文以有公网IP的自建数据库为例介绍配置流程。 说明 当自建数据库为其他实例类型时，您还需要执行相应的准备工作，详情请参见准备工作概览。实例地区 当实例类型选择为有公网IP的自建数据库时，实例地区无需设置。 说明 如果您的自建MySQL数据库具有白名单安全设置，您需要在实例地区配置项后，单击获取DTS IP段来获取到DTS服务器的IP地址，并将获取到的IP地址加入自建MySQL数据库的白名单安全设置中。数据库类型 选择MySQL 主机名或IP地址 填入自建MySQL数据库的访问地址，本案例中填入公网地址。 端口 填入自建MySQL数据库的服务端口，默认为3306。 数据库账号 填入自建MySQL的数据库账号，权限要求请参见数据库账号的权限要求。 数据库密码 填入该账号对应的密码。 说明 源库信息填写完毕后，您可以单击数据库密码后的测试连接来验证填入的信息是否正确。如果填写正确则提示测试通过；如果提示测试失败，单击测试失败后的诊断，根据提示调整填写的源库信息。目标实例信息 实例类型 选择PolarDB。 实例地区 选择目标PolarDB集群所属的地域。 PolarDB实例ID 选择目标PolarDB集群ID。 数据库账号 填入目标PolarDB集群的数据库账号，权限要求请参见数据库账号的权限要求。 数据库密码 填入该账号对应的密码。 说明 目标库信息填写完毕后，您可以单击数据库密码后的测试连接来验证填入的信息是否正确。如果填写正确则提示测试通过；如果提示测试失败，单击测试失败后的诊断，根据提示调整填写的目标库信息。 - 选择迁移类型和迁移对象。
配置 说明 迁移类型 - 如果只需要进行全量迁移，则同时选中结构迁移和全量数据迁移。
- 如果需要进行不停机迁移，则同时选中结构迁移、全量数据迁移和增量数据迁移。
注意 如果未选中增量数据迁移，为保障数据一致性，全量数据迁移期间请勿在源库中写入新的数据。迁移对象 在迁移对象框中单击待迁移的对象，然后单击
图标将其移动至已选择对象框。注意- 迁移对象选择的粒度为库、表、列。
- 默认情况下，迁移对象在目标库中的名称与源库保持一致。如果您需要改变迁移对象在目标库中的名称，需要使用对象名映射功能，详情请参见库表列映射。
- 如果使用了对象名映射功能，可能会导致依赖这个对象的其他对象迁移失败。
- 单击页面右下角的预检查并启动。注意
- 在迁移任务正式启动之前，会先进行预检查。只有通过预检查，DTS才能迁移数据。
- 如果预检查失败，单击具体检查项后的
图标，查看失败详情。根据提示修复后，重新进行预检查。
- 单击购买并启动，迁移任务正式开始。
- 结构迁移+全量数据迁移
请勿手动结束迁移任务，否则可能会导致数据不完整。您只需等待迁移任务完成即可，迁移任务会自动结束。
- 结构迁移+全量数据迁移+增量数据迁移
迁移任务不会自动结束，您需要手动结束迁移任务。
注意 请选择合适的时间手动结束迁移任务，例如业务低峰期或准备将业务切换至目标集群时。- 观察迁移任务的进度变更为增量迁移，并显示为无延迟状态时，将源库停写几分钟，此时增量迁移的状态可能会显示延迟的时间。
- 等待迁移任务的增量迁移再次进入无延迟状态后，手动结束迁移任务。
- 结构迁移+全量数据迁移
从Amazon Aurora MySQL迁移至PolarDB MySQL
如何使用数据传输服务DTS（Data Transmission Service），将Amazon Aurora MySQL迁移至阿里云PolarDB MySQL。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库迁移。
前提条件
- 为保障DTS可以通过公网连接至Amazon Aurora MySQL，Amazon Aurora MySQL的网络与安全配置中须将公开可用性功能设置为是。
- 已创建阿里云PolarDB MySQL集群，详情请参见PolarDB MySQL集群。
- 阿里云PolarDB MySQL的存储空间须大于Amazon Aurora MySQL已使用的存储空间。
注意事项
- DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据库服务不可用。因此您需要在执行数据迁移前评估源库和目标库的性能，同时建议您在业务低峰期执行数据迁移（例如源库和目标库的CPU负载在30%以下）。
- 如果源数据库没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。
- 对于数据类型为FLOAT或DOUBLE的列，DTS会通过
ROUND(COLUMN,PRECISION)来读取该列的值。如果没有明确定义其精度，DTS对FLOAT的迁移精度为38位，对DOUBLE的迁移精度为308位，请确认迁移精度是否符合业务预期。 - 如果待迁移数据库名称不符合阿里云PolarDB MySQL的定义规范，您需要在配置迁移任务之前在阿里云PolarDB MySQL中创建数据库。说明 关于阿里云PolarDB MySQL的定义规范和创建数据库的操作方法，请参见创建数据库。
- 对于迁移失败的任务，DTS会触发自动恢复。在您将业务切换至目标实例前，请务必先结束或释放该任务，避免该任务被自动恢复后，导致源端数据覆盖目标实例的数据。
费用说明
| 迁移类型 | 链路配置费用 | 公网流量费用 |
|---|---|---|
| 结构迁移和全量数据迁移 | 不收费。 | 通过公网将数据迁移出阿里云时将收费，详情请参见产品定价。 |
| 增量数据迁移 | 收费，详情请参见产品定价。 |
迁移类型说明
- 结构迁移
DTS将待迁移对象的结构定义迁移到阿里云PolarDB MySQL，目前DTS支持结构迁移的对象为表、视图、触发器、存储过程、存储函数，不支持event的结构迁移。
说明- 在结构迁移时，DTS会将视图、存储过程和函数中的DEFINER转换为INVOKER。
- 由于DTS不迁移user信息，因此在调用目标库的视图、存储过程和函数时需要对调用者授予读写权限。
- 全量数据迁移DTS会将Amazon Aurora MySQL中待迁移对象的存量数据，全部迁移到阿里云PolarDB MySQL中。说明 由于全量数据迁移会并发INSERT导致目标实例的表存在碎片，全量迁移完成后目标实例的表空间会比源实例大。
- 增量数据迁移
在全量迁移的基础上，DTS会读取Amazon Aurora MySQL的binlog信息，将Amazon Aurora MySQL的增量更新数据同步到阿里云PolarDB MySQL中。通过增量数据迁移可以实现在应用不停服的情况下，平滑地完成MySQL数据库的迁移。
数据库账号的权限要求
| 数据库 | 结构迁移 | 全量迁移 | 增量迁移 |
|---|---|---|---|
| Amazon Aurora MySQL | 迁移对象的SELECT权限 | 迁移对象的SELECT权限 | REPLICATION SLAVE、REPLICATION CLIENT、SHOW VIEW和对迁移对象执行SELECT操作的权限 |
| 阿里云PolarDB MySQL | 迁移对象的读写权限 | 迁移对象的读写权限 | 迁移对象的读写权限 |
数据库账号创建及授权方法：
- Amazon Aurora MySQL请参见为自建MySQL创建账号并设置binlog中创建账号的部分。
- 阿里云PolarDB MySQL请参见创建账号。
迁移前准备工作
- 在连接和安全性区域框，单击对应的VPC安全组名称。
- 在安全组设置页面，将对应区域的DTS服务器地址添加至入站规则中，IP地址段详情请参见迁移、同步或订阅本地数据库时需添加的IP白名单。
说明- 您只需添加目标数据库所在区域对应的DTS IP地址段。例如，源数据库地区为新加坡，目标数据库地区为杭州，您只需要添加杭州地区的DTS IP地址段。
- 在加入IP地址段时，您可以一次性添加所需的IP地址，无需逐条添加入站规则。
操作步骤
- 在迁移任务列表页面顶部，选择迁移的目标集群所属地域。
- 配置迁移任务的源库及目标库信息。
类别 配置 说明 无 任务名称 DTS会自动生成一个任务名称，建议配置具有业务意义的名称（无唯一性要求），便于后续识别。 源库信息 实例类型 选择有公网IP的自建数据库。 实例地区 当实例类型选择为有公网IP的自建数据库时，实例地区无需设置。 数据库类型 选择MySQL。 主机名或IP地址 填入Amazon Aurora MySQL的访问地址 。 说明 您可以在Amazon Aurora MySQL的基本信息页面，获取数据库的访问地址。
端口 填入Amazon Aurora MySQL的服务端口，默认为3306。 数据库账号 填入Amazon Aurora MySQL的数据库账号，权限要求请参见数据库账号的权限要求。 数据库密码 填入该数据库账号的密码。 说明 源库信息填写完毕后，您可以单击数据库密码后的测试连接来验证填入的信息是否正确。如果填写正确则提示测试通过；如果提示测试失败，单击测试失败后的诊断，根据提示调整填写的源库信息。目标库信息 实例类型 选择PolarDB。 实例地区 选择阿里云PolarDB MySQL实例所属地域。 PolarDB实例ID 选择阿里云PolarDB MySQL实例ID。 数据库账号 填入阿里云PolarDB MySQL的数据库账号，权限要求请参见数据库账号的权限要求。 数据库密码 填入该数据库账号的密码。 说明 目标库信息填写完毕后，您可以单击数据库密码后的测试连接来验证填入的信息是否正确。如果填写正确则提示测试通过；如果提示测试失败，单击测试失败后的诊断，根据提示调整填写的目标库信息。 - 选择迁移对象及迁移类型。
配置 说明 迁移类型 - 如果只需要进行全量迁移，则同时勾选结构迁移和全量数据迁移。
- 如果需要进行不停机迁移，则同时勾选结构迁移、全量数据迁移和增量数据迁移。
说明 如果未选择增量数据迁移，为保障数据一致性，数据迁移期间请勿在Amazon Aurora MySQL中写入新的数据。迁移对象 在迁移对象框中单击待迁移的对象，然后单击
将其移动至已选择对象框。说明- 迁移对象选择的粒度为库、表、列。
- 默认情况下，迁移对象在目标库中的名称与源库保持一致。如果您需要改变迁移对象在目标库中的名称，需要使用对象名映射功能，详情请参见库表列映射。
- 如果使用了对象名映射功能，可能会导致依赖这个对象的其他对象迁移失败。
- 单击页面右下角的预检查并启动。注意
- 在迁移任务正式启动之前，会先进行预检查。只有通过预检查，DTS才能迁移数据。
- 如果预检查失败，单击具体检查项后的
图标，查看失败详情。根据提示修复后，重新进行预检查。
- 单击购买并启动，迁移任务正式开始。
- 结构迁移+全量数据迁移
请勿手动结束迁移任务，否则可能会导致数据不完整。您只需等待迁移任务完成即可，迁移任务会自动结束。
- 结构迁移+全量数据迁移+增量数据迁移
迁移任务不会自动结束，您需要手动结束迁移任务。
注意 请选择合适的时间手动结束迁移任务，例如业务低峰期或准备将业务切换至目标集群时。- 观察迁移任务的进度变更为增量迁移，并显示为无延迟状态时，将源库停写几分钟，此时增量迁移的状态可能会显示延迟的时间。
- 等待迁移任务的增量迁移再次进入无延迟状态后，手动结束迁移任务。
- 结构迁移+全量数据迁移
从本地MySQL迁移至PolarDB MySQL
使用DTS进行本地MySQL迁移至PolarDB MySQL的任务配置流程。
前提条件
- 已经创建PolarDB MySQL集群。
- 已经创建拥有读写权限的账号。
- 已经开通本地MySQL的远程访问权限。开通命令为grant all privileges on *.* to
@' ' identified by " "; 说明
背景信息
使用阿里云数据传输服务（DTS），您可以实现本地MySQL到PolarDB MySQL集群的数据迁移。通过DTS增量迁移的存储引擎，可以实现在本地应用不停服的情况下，将数据迁移到目标PolarDB MySQL集群。
支持增量数据迁移的SQL操作
对于数据迁移，DTS支持增量数据迁移的SQL操作如下：
INSERT、UPDATE、DELETE、REPLACE
ALTER TABLE、ALTER VIEW、ALTER FUNCTION、ALTER PROCEDURE
CREATE DATABASE、CREATE SCHEMA、CREATE INDEX、CREATE TABLE、CREATE PROCEDURE、CREATE
FUNCTION、CREATE TRIGGER、CREATE VIEW、CREATE EVENT
DROP FUNCTION、DROP EVENT、DROP INDEX、DROP PROCEDURE、DROP TABLE、DROP TRIGGER、DROP
VIEW
RENAME TABLE、TRUNCATE TABLE
注意事项
- 建议在执行迁移任务前做好数据备份。
- 对于七天之内的异常任务，DTS会尝试自动恢复，可能会导致迁移任务的源端数据库数据覆盖目标实例数据库中写入的业务数据。
- 由于用于数据迁移的数据库账号拥有读写权限，为保障数据库安全性，请在数据迁移完成后，删除相关的数据库账号。
迁移限制
- 迁移仅支持MySQL 5.6版本。
- 结构迁移不支持EVENT的迁移。
- 对于数据类型为FLOAT或DOUBLE的列，DTS会通过
ROUND(COLUMN,PRECISION)来读取该列的值。如果没有明确定义其精度，DTS对FLOAT的迁移精度为38位，对DOUBLE的迁移精度为308位，请确认迁移精度是否符合业务预期。 - 如果使用了对象名映射功能，可能会导致依赖这个对象的其他对象迁移失败。
- 当选择增量迁移时，源端的MySQL实例需要开启binlog。
- 当选择增量迁移时，源库的
binlog_format要为row。 - 当选择增量迁移且源MySQ为5.6版本时，
binlog_row_image必须为full。 - 当选择增量迁移时，增量迁移过程中如果源MySQL实例出现因实例跨机迁移或跨机重建等导致的binlog文件ID乱序，可能会导致增量迁移数据丢失。
迁移类型介绍
支持结构迁移、全量数据迁移和增量数据迁移，详细介绍请参见名词解释。
说明 同时使用这三种迁移类型可实现在应用不停服的情况下，平滑地完成数据库迁移。
费用说明
| 迁移类型 | 链路配置费用 | 公网流量费用 |
|---|---|---|
| 结构迁移和全量数据迁移 | 不收费。 | 通过公网将数据迁移出阿里云时将收费，详情请参见产品定价。 |
| 增量数据迁移 | 收费，详情请参见产品定价。 |
迁移权限要求
当使用DTS进行迁移时，不同的迁移类型，对源端MySQL实例和目标端PolarDB集群的迁移账号权限要求如下：
| 迁移类型 | 结构迁移 | 全量数据迁移 | 增量数据迁移 |
|---|---|---|---|
| 本地MySQL实例 | SELECT | SELECT | SUPER SELECT REPLICATION SLAVE REPLICATION CLIENT |
| 目标端PolarDB集群 | 读写权限 | 读写权限 | 读写权限 |
如何为PolarDB集群创建数据库请参见创建数据库账号。
迁移流程
DTS在进行数据迁移时，为了解决对象间的依赖关系，提高迁移成功率。结构对象及数据的迁移顺序如下：
- 结构对象：表、视图的迁移。
- 全量数据迁移。
- 结构对象：存储过程、函数、触发器、外键的迁移。
- 增量数据迁移。
说明 如果没有选择增量数据迁移，那么当全量数据迁移完成后，任务列表中的迁移进度显示为结构迁移100%，全量迁移100%，迁移状态为迁移中。此时迁移任务正在进行步骤3中的对象的迁移。请勿手动结束任务，否则会造成迁移数据丢失。
操作步骤
- 在迁移任务列表页面顶部，选择迁移的目标集群所属地域。
- 配置迁移任务的源库和目标库连接信息。
类别 配置 说明 无 任务名称 DTS会自动生成一个任务名称，建议配置具有业务意义的名称（无唯一性要求），便于后续识别。 源库信息 实例类型 根据源库的部署位置进行选择，本文选择有公网IP的自建数据库。 实例地区 当实例类型选择为有公网IP的自建数据库时，实例地区无需设置。 说明 如果您的本地MySQL数据库具有白名单安全设置，您需要在实例地区配置项后，单击获取DTS IP段来获取到DTS服务器的IP地址，并将获取到的IP地址加入本地MySQL数据库的白名单安全设置中。数据库类型 选择MySQL。 主机名或IP地址 填入本地MySQL数据库的访问地址，本案例中填入公网地址。 端口 填入本地MySQL数据库的服务端口，默认为3306。 数据库账号 填入本地MySQL的数据库账号，权限要求请参见迁移权限要求。 数据库密码 填入该账号对应的密码。 说明 源库信息填写完毕后，您可以单击数据库密码后的测试连接来验证填入的信息是否正确。如果填写正确则提示测试通过；如果提示测试失败，单击测试失败后的诊断，根据提示调整填写的源库信息。目标库信息 实例类型 选择PolarDB。 实例地区 选择目标PolarDB集群所属的地域。 PolarDB实例ID 选择目标PolarDB集群ID。 数据库账号 填入目标PolarDB集群的数据库账号，权限要求请参见迁移权限要求。 数据库密码 填入该账号对应的密码。 说明 源库信息填写完毕后，您可以单击数据库密码后的测试连接来验证填入的信息是否正确。如果填写正确则提示测试通过；如果提示测试失败，单击测试失败后的诊断，根据提示调整填写的源库信息。 - 选择迁移类型和迁移对象。
配置 说明 迁移类型 - 如果只需要进行全量迁移，则同时选中结构迁移和全量数据迁移。
- 如果需要进行不停机迁移，则同时选中结构迁移、全量数据迁移和增量数据迁移。
注意 如果未选中增量数据迁移，为保障数据一致性，全量数据迁移期间请勿在源库中写入新的数据。迁移对象 在迁移对象框中单击待迁移的对象，然后单击
图标将其移动至已选择对象框。注意- 迁移对象选择的粒度为库、表、列。
- 默认情况下，迁移对象在目标库中的名称与源库保持一致。如果您需要改变迁移对象在目标库中的名称，需要使用对象名映射功能，详情请参见库表列映射。
- 如果使用了对象名映射功能，可能会导致依赖这个对象的其他对象迁移失败。
- 单击页面右下角的预检查并启动。注意
- 在迁移任务正式启动之前，会先进行预检查。只有通过预检查，DTS才能迁移数据。
- 如果预检查失败，单击具体检查项后的
图标，查看失败详情。根据提示修复后，重新进行预检查。
- 单击购买并启动，迁移任务正式开始。
- 结构迁移+全量数据迁移
请勿手动结束迁移任务，否则可能会导致数据不完整。您只需等待迁移任务完成即可，迁移任务会自动结束。
- 结构迁移+全量数据迁移+增量数据迁移
迁移任务不会自动结束，您需要手动结束迁移任务。
注意 请选择合适的时间手动结束迁移任务，例如业务低峰期或准备将业务切换至目标集群时。- 观察迁移任务的进度变更为增量迁移，并显示为无延迟状态时，将源库停写几分钟，此时增量迁移的状态可能会显示延迟的时间。
- 等待迁移任务的增量迁移再次进入无延迟状态后，手动结束迁移任务。
- 结构迁移+全量数据迁移
