跨平台数据迁移：作者：Manish Lad

近年来，据观察，组织正在寻求优化存储成本。在这样做的同时，他们还寻求整合数据并将其存储到新的边缘技术解决方案中。同样，组织也希望选择不需要许可的产品。为了从一种产品迁移到另一种产品，组织需要将数据从旧系统迁移到新系统。

背景：将 MF – VSAM 文件数据迁移到 NOSQL 或 RDBMS 数据库时存在更多要求。同时，存在将数据从一种 RDBMS 迁移到另一种 RDBMS 的巨大需求，并且在大多数情况下，这是迁移到开源数据库。

这些数据存储中存储的数据可能是以下之一

• PII 数据
• 图片/大对象迁移
• 日期时间
• 漂浮
• 时间戳
• 浮点/小数
• 指数
• 空值
• ANSI 填充（字符数据类型中的尾随空格）
• 位值
• =NULL，NULL编程行为

需要分析现有数据类型的使用情况以及当前系统中存储的数据，以映射目标数据库支持的正确数据类型。此外，一些关键的默认功能如果执行类似的方式，则需要进行验证。 如果没有，应确定替代方案。在某些银行应用程序中，时间至关重要。因此，必须识别存储差异，并根据业务需求进行验证。有些数据库会截断提供的附加字符，这些字符大于在列级别定义的字符长度，有些数据库则未能做到这一点，因此该过程将失败。

每当对浮点数据进行舍入时，它可能不会给出一致的方法。浮点数据需要转换为十进制并进位，才能看到一致的结果。

数据迁移涉及在不同存储系统、格式甚至应用程序之间传输数据。当涉及到 VSAM 数据到 RDBMS 结构的转换时，情况确实如此。需要开发从 VSAM 中提取数据的流程以满足 RDBMS 的要求。在升级系统（存储）或整合数据库或迁移到更新的平台时，此过程至关重要。以下是数据迁移的一般方法：

数据迁移步骤

1. 评估与规划
   1. 评估架构

评估现有模式，了解当前系统中的数据结构、数据类型、数量、质量和依赖性、过时函数的使用、可能是专有唯一解决方案的对象类型、商业数据库驱动程序等。

1. 2. 定义范围和目标

确定将迁移哪些数据，哪些是静态数据、事务数据和历史数据。在历史数据中，并非所有数据都需要迁移到新系统。确定截止边界。这将有助于定义停机时间。可能会有更多相同数据的副本被复制/存储在其他服务器中，您可能需要摆脱它。

2. 迁移前活动
   1. 备份数据

创建现有数据的备份以防止数据丢失。查看当前的备份过程。当前环境中的灾难恢复设置及其在目标系统中的要求。

1. 2. 安装和配置工具

确定数据迁移所需的工具。选择能够支持源系统和目标系统的。 确保所有设置均正确完成，安装了必要的驱动程序，并建立了与源和目标的连接。

3. 数据提取
   1. 提取数据

使用数据提取工具或自定义脚本从源系统中提取数据。

确保提取的数据采用目标系统可以理解的所需格式，并在双方（即源和目标）上保留相同的含义。 （例如，源日期列中的数据如果由 mm/dd/yyyy 组成，则应在目标系统上以相同的格式保留）

4. 数据转换

删除重复项、更正错误并标准化格式。大多数时候，数据是从旧系统迁移的，并且数据有可能是冗余的或存在于多个位置（两个或多个位置相同的数据有时存在于不同的服务器上）。现在是修复的时候了。此外，一些应用程序已停用，但数据仍然保留在系统上，这也是清理它的时候。即使有时目标系统中可能不需要或未使用过数据或 PII 数据的加密，最好也删除这些数据。

应用必要的转换以符合目标系统的架构和要求。 （例如，源系统存储不带尾随空格的字符数据，但目标系统可能不支持，在这种情况下，可能需要数据转换，因为目标系统中的搜索条件可能会失败，并且插入/更新语句会失败。）

5. 数据加载

使用数据加载工具或脚本将数据传输或加载到目标系统。

确保数据加载正确、完整且一致。

6. 迁移后活动
7. 数据验证和测试

比较源和目标之间的数据。确保数据的准确性和完整性。

验证与数据交互的应用程序在新环境中是否正常工作。比较源系统和目标系统的结果可能是报告或提取的文件，甚至需要比较处理的数据，以确保两个系统的工作方式完全相同。

8. 割接规划

规划维护时段内的切换，以尽量减少对最终用户或后端进程的影响。计划在切换时间之前迁移静态数据，以便最小化切换窗口。

7. • 最终数据同步和切换

执行最终数据同步以捕获数据迁移期间所做的任何更改。如果需要，可以使用 CDC 解决方案。 数据同步后，将用户和应用程序重定向到新系统。

9. 迁移后活动

进行彻底的审查，以确保一切都按预期运行。需要监控新系统的性能。

10. 结论：

管理允许的停机时间，必须设计提取和加载数据的策略。这可能包括切片和切块机制。静态数据和分区数据（系统可能不需要每天都需要这些数据）必须在实际推出之前加载。在推出当天加载剩余数据。卷大小应在推出当天之前完成。 如果需要 CDC，请在推出日之前完成所有必要的设置和测试。