AWS PostgreSQL迁移至RDS PostgreSQL
更新时间:2025-06-05
本文主要介绍通过 DTS 数据迁移功能从 AWS PostgreSQL 迁移至百度智能云 RDS PostgreSQL。
前提条件
- 已创建存储空间大于 AWS PostgreSQL 数据库占用存储空间的目标 RDS PostgreSQL 实例。创建方式,请参见 创建 PostgreSQL 实例。
限制说明
类型 | 说明 |
---|---|
源端限制 |
|
其他限制 |
|
特殊情况 | 当目标库为 RDS PostgreSQL 时:
|
支持的SQL操作
操作类型 | SQL操作语句 |
---|---|
DML | INSERT、UPDATE、DELETE |
数据库账号权限要求
数据库 | 结构迁移 | 全量迁移 | 增量迁移 | 说明 |
---|---|---|---|---|
源端 | pg_catalog 的 usage 权限 | 迁移对象的 select 权限 | superuser | 源端为 AWS PostgreSQL 实例时,需要使用拥有 rds_superuser 角色的用户,该角色所具备权限可以满足结构迁移、全量迁移、增量迁移所需权限(创建实例时指定的主用户名会自动被赋予 rds_superuser 角色) |
目标端 | superuser 权限 | superuser 权限 | superuser 权限 | 目标端为百度云 RDS PostgreSQL 时,使用的迁移账号具备 superuser 权限,可以满足结构迁移、全量迁移、增量迁移所需权限 |
准备工作
网络准备
- 登录 AWS 访问控制台,进入待迁移实例的详情页。
- 在数据库详情页的 连接与安全性 Tab 中检查是否开通公开访问,如果未开通则参考 如何将预置的 Aurora 数据库集群配置为可公开访问 开通。
- 对于已经开通的公开访问的地址及端口,记录终端节点和端口信息供后续配置 DTS 任务时使用。
- 在 连接与安全性 中,编辑该实例所绑定的 VPC 安全组,在入站规则中配置 DTS 的机器 IP 以允许 DTS 服务器的访问。配置流程请参考:配置安全组规则,具体 DTS 公网 IP 段请参考:添加 DTS 服务 IP 白名单。
迁移准备
-
修改源端 AWS PostgreSQL 实例的如下参数
- 修改 logical_replication 参数值为 1,开启 wal 逻辑日志。
- 修改 max_replication_slots 参数的值为大于 1 的整数,max_replication_slots 的值应根据您需要同时运行的任务数进行设置。例如,要同时运行十二个任务,您需要设置至少十二个 slot。
- 修改 wal_sender_timeout 参数的值为 0,代表禁用超时机制,避免复制连接处于不活跃状态的连续累计时间超过 wal_sender_timeout 时从而被源端实例主动断开, 进而可能导致增量同步失败。
- 修改 max_wal_senders 参数的值为大于 10 的整数,max_wal_senders 参数用于设置可以运行的并发任务数,建议和 max_replication_slots 设置的值一致。
- 重启源端 AWS PostgreSQL 实例。
-
将源端 AWS PostgreSQL 实例所有待迁移表的 replica identity 设置为 FULL。
SQL1ALTER TABLE TABLENAME REPLICA IDENTITY FULL;
操作步骤
- 登录 DTS 控制台。
- 点击 创建数据传输任务 进入 DTS 创建任务页面,详情参见 购买流程。
- 创建任务成功后自动返回任务列表页面,选择新创建的任务,点击 更多操作—>配置任务。
-
在配置任务页面,配置源库及目标库信息,本文以 公网 接入方式为例介绍配置流程。
配置流程 类别 配置 说明 任务基本属性 任务名称 DTS 会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。 源端连接设置 IP/端口 填入源端 PostgreSQL 数据库的访问 IP 与端口,本示例中填入公网地址。 数据库 选择默认连接的数据库。 账号 填入源端 PostgreSQL 数据库的账号。 密码 填入该数据库账号对应的密码。 目标端连接设置 实例 ID 选择目标 RDS PostgreSQL 实例 ID。 数据库 选择默认连接的数据库。 -
配置完成后,点击页面下方的 授权白名单进入下一步。
警告:
DTS 自动添加或您手动添加 DTS 服务的 IP 地址段可能会存在安全风险,一旦使用本产品代表您已理解和确认其中可能存在的安全风险,并且需要您做好基本的安全防护,包括但不限于加强账号密码强度防范、限制各网段开放的端口号、内部各 API 使用鉴权方式通信、定期检查并限制不需要的网段等等。
-
配置任务对象映射。
配置 说明 迁移类型 根据需求及各引擎对迁移类型的支持情况,选择迁移类型。 限制传输速度 根据实际情况,选择是否对全量迁移和增量同步任务进行更细粒度的限流策略设置(设置 每秒迁移的行数 和 每秒迁移的数据量),以缓解目标库压力。详情参见:迁移限速。 传输对象 手动选择:选择此选项时,在页面左侧选择需要迁移的库表,库表信息将会被自动添加到页面右侧。模式匹配:详情参见:模式匹配。 -
上述配置完成后,点击页面下方的 保存并预检查。
说明
- 在迁移任务正式启动之前,会先进行预检查。只有预检查通过后,才能成功启动迁移任务。
- 如果预检查失败,请查看失败检查项的提示,并根据提示修复后重新进行预检查。
-
如果预检查产生警告:
- 对于不可以忽略的检查项,请查看失败检查项的提示,并根据提示修复后重新进行预检查。
- 对于可以忽略无需修复的检查项,您可以点击 强制通过,在弹出的窗口中勾选风险确认信息并点击 确定,跳过告警检查项重新进行预检查。如果选择屏蔽告警检查项,可能会导致数据不一致等问题,给业务带来风险。
- 前置校验提示校验成功后,点击 立即开启任务。
- 迁移任务正式开始,您可以在任务列表页面查看具体进度。
后续操作(可选)
业务切换
详情参见 业务切换流程。