实际案例分析-TB级数据迁移方案

数据迁移背景摘要

在服务重构过程中，需要将原用户数据从旧表迁移到新库。旧库有1TB数据、16个库和512张表，而新库则设为两个实例，每个库含1024张表。迁移目标确保旧服务继续运行，旧服务的存量和增量数据都需要迁移到新库。

数据迁移需求分析摘要

需求分析包括新旧数据的业务逻辑、表结构和表数据分析，以及设计存量和增量数据同步方案的流程图。

新旧数据分析摘要

数据迁移前需要分析新旧表的业务功能差异，系统上下游的依赖关系，以及确保数据迁移时业务的连续性。例如，对于UDID和userId的映射关系要提前处理。还要分析旧库数据的合法性和新旧数据字段间的映射关系。

存量数据迁移方案摘要

存量数据迁移通过三个主要步骤实现：首先，克隆源库数据库，以减轻对线上库的影响；其次，通过生产者程序批量处理克隆库数据并放入工作台（如redis-list）；最后，定义工作台的数据处理大小限制，以控制生产者的数据生产节奏。

作为软件工程师，给年轻时的自己的建议（下）

了解更多

码农周星星

查看原文：实际案例分析-TB级数据迁移方案

文章来源：

码农周星星

扫码关注公众号