云迁移

数据迁移模块

2024-12-19 09:40:12

1.1.1 产品咨询

1.1.1.1 我在什么场景下使用数据迁移工具?

当您需要将其余云服务商的数据迁移上天翼云时,您可以使用数据迁移工具帮助您有序、安全、便捷、轻松地将数字资部分或完全迁移到天翼云,同时保证云上业务的可用性、安全性以及连续性。

1.1.1.2 数据迁移工具是否支持从阿里云、天翼云等其余云迁移至天翼云?

支持。

数据迁移工具支持市面上主流云厂商的数据迁移至天翼云,如阿里云、天翼云、AWS以及腾讯云等;

1.1.1.3 数据迁移工具是否支持将天翼云上的数据,迁移到其余云服务商或本地?

不支持。

数据迁移工具迁移目标端仅能够选择天翼云,无法将天翼云数据迁移到本地或其他云服务商。

1.1.1.4 当我使用数据迁移工具时,是否能够要求天翼云技术人员帮助迁移?

天翼云技术人员不直接参与您的业务迁移,您可以通过查看帮助中心,然后实行迁移;

若帮助中心未涉及您的问题,您可通过页面反馈问题,相关技术人员后续对内容进行补充;

若您需要专业的迁移方案和专属的技术支持,您可以订购我们的迁移服务,帮助您平滑迁移业务,缩短整体业务停机时间,减少上云对业务的影响,解除您的上云顾虑,让您聚焦于业务发展。

1.1.1.5 数据迁移工具是否支持断点续传?

支持。

由于网络问题导致数据传输中断,网络恢复后即可自动续传;

1.1.1.6 如何迁移一个帐号下的ZOS数据到另一个帐号下?

当您需要从A账户迁移至B账户时,您需在迁移时,按照如下步骤操作:

1. B帐号登录管理控制台。

2. 单击“服务列表”,选择“迁移 > 数据迁移工具”。

3. 进入“数据迁移工具”页面。

4. 点击“数据源管理”

5. 在源节点添加访问秘钥、私有访问秘钥中填写A帐号的AK/SK,目标节点访问秘钥、私有访问秘钥中填写B帐号的AK/SK。

6. 点击“任务管理”

创建任务,绑定源节点与目标节点。

具体步骤请参见创建单个迁移任务。

1.1.1.7 如何从一个区域迁移ZOS桶数据到另一区域?

当您因业务需要,需要从一个区域迁移ZOS桶数据到另一个区域,如从华南-广州迁移到华北-北京一。创建迁移任务时,源端桶选择华南-广州的桶,目的端桶选择华北-北京一。具体操作请参见创建单个迁移任务。

1.1.1.8 源端有多个桶,如何迁移到天翼云一个ZOS桶里?

假设源端有两个桶,可以创建两个迁移任务:

先创建迁移任务1:源端A桶->天翼云C桶

再创建迁移任务2:源端B桶->天翼云C桶

如果有重名对象:先迁源端A桶:/xxxx/xxx/file0001.txt 后迁源端B桶:/xxxx/xxx/file0001.txt,天翼云C桶中后一个迁移的对象会覆盖迁移前一个被迁移的对象,即C桶中最终只保留源端B桶:/xxxx/xxx/file0001.txt这个对象。

1.1.1.9 如何迁移根目录下的数据?

有两种方式可选择并迁移根目录下的数据:

文件/文件夹方式

在创建任务时,迁移方式选择“选择文件/文件夹”。

单击“选择”,在弹窗中勾选自己需要迁移的数据(默认展示根目录下的数据)并确认选择。

配置需要的高级参数并创建任务,即可迁移已选择的根目录数据。

对象前缀方式

在创建任务时,迁移方式选择“输入对象前缀”。

在输入框键入需要迁移的对象前缀(包括根目录下的数据)并单击“添加”。

如需迁移多个不同前缀对象,可继续添加。

配置需要的高级参数并创建任务,即可迁移已添加的根目录数据。

1.1.1.10 迁移对源端数据是否有影响?

迁移对源端数据无影响

迁移过程中不会对源端数据进行修改。

迁移时不会对源端的对象进行锁定。

迁移完成后,不会删除源端的数据。

1.1.1.11 如果一直有数据写入ZOS的情况下,使用数据迁移工具如何保证数据一致性?

该问题可分为以下两种情况来说明:

如何保证增量数据如何迁移过来?

参见增量迁移对象数据。

源端数据有更新,如何同步过来?

需要重新全量迁移,数据迁移工具会自动识别更新后对象进行覆盖,具体覆盖条件请参考迁移是否会影响目的端桶的已有数据。

1.1.1.12 目的端桶存储类型为归档存储,迁移到目的端桶的数据存储类型是什么类型?

迁移后的数据存储类型与目的端桶默认的数据存储类型保持一致。例如:当目的端桶存储类型为归档存储时,迁移到目的端桶后数据存储类型为归档存储。

如果需要修改相关数据存储类型,可以通过对象生命周期来调整。

归档存储数据迁移可参考迁移归档存储数据。

1.1.1.13 迁移任务的适用场景是什么?

适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。创建方式参见创建迁移任务。

1.1.1.14 是否支持同步源端删除操作?

不支持同步源端删除操作。

您可以通过脚本列举目的端对象,基于列举结果排查源端删除对象是否存在。若源端删除对象存在于列举结果中,请自行删除。

1.1.1.15 数据迁移工具保证迁移数据一致性的校验策略是什么?

在迁移过程中,每迁移完一个对象,会对该对象进行一致性校验,如果不一致则会将该对象记录到失败对象列表中。数据迁移工具会累积记录迁移失败对象个数,可以通过任务详情查看具验策略为该对象是否同时满足以下条件,不满足则校验失败,并记录到失败对象列表中。

目的端对象的加密状态与任务是否开启KMS加密的状态一致,状态不一致的处理方法请参见:如何解决KMS状态错误导致的迁移任务失败?

源端与目的端对象的大小一致。

目的端对象的最后修改时间不早于源端对象的最后修改时间。

1.1.1.16 迁移完成后,为什么目的端桶对象个数/大小与源端桶对象个数/大小不一致?

源端对象个数/大小>目的端对象个数/大小

源端对象个数>目的端对象个数

可能原因:源端有增量对象或源端扫描有问题。

判断方法:再次创建数据迁移任务进行增量迁移,查看源端桶扫描对象数与上次迁移时统计的源端桶对象数是否一致,并通过对象列表确认新增对象。如果扫描结果不一致,可通过对象列表确认新增对象;如果扫描结果一致,即对源端扫描有问题。

解决方案:如果源端有新增对象,可通过增量迁移将新增对象迁移到目的端桶。如果源端扫描有问题,请提交工单。

源端对象大小>目的端对象大小

可能原因:

源端存在碎片文件。

数据迁移工具无法迁移碎片文件。

源端存在多版本对象。

数据迁移工具默认只迁移最新版本对象,暂不支持迁移多版本对象,需要客户手动搬迁。

源端云服务商与天翼云对象统计规则不一致。

天翼云按照实际对象大小统计,而部分源端云服务商在对象不足64 KB时,统一按照64 KB统计,导致容量不一致。查看源端云服务商对象统计规则,如果源端云服务商统计规则为对象不足64KB时,按照64 KB统计,则需要排查源端是否有对象小于64 KB。

源端对象个数/大小<目的端对象个数/大小

源端对象个数<目的端对象个数

可能原因:

数据迁移工具和友商控制台,统计可能存在部分时延,迁移后需要等待少许时间。

目的端桶存在客户业务系统切换到天翼云后,自主写入的新增对象上传的对象列表文件。

源端对象大小<目的端对象大小

可能原因:

目的端桶存在上传的相关配置文件。

您可以清除相关配置文件,清除后相关迁移报告将无法恢复。

目的端桶存在残留的碎片文件(任务暂停后未重新恢复,默认会在目的端存在碎片文件)。

您可清除目的端桶的残留碎片文件。

1.1.1.17 迁移是否会影响目的端桶的已有数据?

对象存储迁移对目的端桶已有数据的影响,主要看目的端桶与源端桶是否有同名对象。

不存在同名对象,数据迁移工具对目的桶已有数据无影响。

迁移过程中,不会修改目的端桶的已有数据。

迁移完成后,不会删除目的端桶的已有数据。

存在同名对象,以下场景会对目的桶已有数据进行同名覆盖:

源端/目的端对象的大小不一致。

目的端对象的最后修改时间早于源端对象的最后修改时间。

1.1.2 迁移限制

1.1.2.1 兼容性列表有哪些?

您可参见兼容性列表

1.1.2.2 数据迁移工具将对象数据迁移到并行文件系统有哪些限制?

数据迁移工具将对象数据迁移到并行文件系统有以下限制(并行文件系统限制):

若对象名以/结尾,则对象大小必须为0,否则不支持迁移。

对象名中不能出现连续/,例如test//test。

1.1.2.3 迁移源使用共享带宽是否可以进行迁移?

不可以。

数据迁移工具仅支持独占带宽进行迁移,不支持使用共享带宽进行迁移,否则会出现无法获取到迁移源处的网络情况的问题。

1.1.2.4 数据迁移工具重要声明有哪些?

具体内容您可以参见[免责声明]数据库迁移部分。

1.1.3 迁移时长

1.1.3.1 我如何能知道迁移任务的进度?

一般情况,对象存储服务的迁移速度的参考值是10-20TB每天。由于迁移速度受源端对象个数、大小以及公网传输距离影响,建议用户创建一个实际数据的迁移任务来测试实际迁移速度,实际最大迁移速度为单个任务平均速度的5倍(单个Region内并发任务数最大为5)。

单个迁移任务速度可以在“迁移任务”界面中查看实时任务迁移速度。

若您在创建迁移任务时选择使用SMN消息通知功能,迁移任务结果也将通过电子邮件、短信以及自定义URL等方式发送给您。

1.1.3.2 迁移需要多长时间?

您可以通过以下公式进行迁移前估算:迁移时长=总数据量/带宽大小/8*1.25。详细时间预估请参见评估迁移时间与测试传输速度

1.1.3.3 迁移带宽由什么决定?

以下三点中最小带宽为准:

· 数据源出口带宽。

· 目标端入口带宽。

1.1.3.4 如何确定任务是否卡死

· 查看数据迁移工具当前阶段速率展示(迁移速率、核查个数)是否正常。

· 查看源端迁移日志,如果日志信息长时间未刷新,可能是任务异常。

1.1.3.5 为什么迁移速率有时远远低于带宽大小?

出现这种现象的原因,一般但不限于以下场景:

· 大文件多

· 稀疏文件多

1.1.4 异常恢复

1.1.4.1 创建迁移任务失败怎么办?

创建迁移任务失败,会在迁移任务列表的左上方出现“任务创建失败”的提示。

请通过以下步骤重试失败的迁移任务。

单击任务列表左上方的“重试失败任务”,进入重试失败任务界面。

选择要重试的任务,并输入源端和目的端的AK/SK,单击“确认”。

1.1.4.2 源端对象存储访问频率过高导致迁移失败怎么办?

为保证较高的迁移速率,迁移任务执行过程中,对象存储迁移服务会以较高频率调用源端对象存储API。由于某些源端对象存储对访问频率进行了限制,当访问频率过高时就会导致迁移任务失败。

解决办法:

联系源端云服务提供商,修改源端对象存储对访问频率的限制值以满足迁移的要求。

通过API创建任务,并采用较低的thread_num值(迁移任务使用的线程数),以降低迁移线程访问频率。

1.1.4.3 迁移完成后,若想再次迁移如何操作?

重新为数据源绑定目标节点,并重新配置任务。


YpWIkf28Yzd.