猫先生头条

数据同步方式何来“高级”与“低级”之说？场景匹配才是真理！

2024-09-09 17:33 由 ApacheSeaTunnel 发表于 #数据库

导读：数据同步方式的重要性对于数据集成领域的兴从业者不言而喻，选择正确的数据同步方式能让数据同步工作的成果事半功倍。目市面上的数据同步工具很多，提供的数据同步方式也有多种，不同的数据同步方式有什么区别？如何选择适合自己业务需求的数据同步方式呢？本文将对此进行深入分析，并深入剖析WhaleTunnel在数据同步方面的功能和优势，帮助读者更好地理解其在企业数据管理中的应用。

不同数据同步方式的优缺点

数据同步是指在不同系统、数据库或文件之间保持数据的一致性和同步更新的过程。根据应用场景、数据量和需求的不同，数据同步的方式也各不相同，选择合适的数据同步方式对系统的整体架构、性能、稳定性、业务需求的满足以及安全性都有至关重要的影响。

总的来说，一个合适的同步策略不仅能保障数据的一致性和完整性，还能降低系统的开发和维护成本，提高系统的可靠性。因此，企业在设计和实施数据同步方案时，必须充分考虑业务需求、数据量、实时性、性能、资源、维护成本及安全性等多方面因素，做出最优的选择。

以下是常见的数据同步方式：

1. 全量同步

  • 全量同步是指每次同步时将所有数据进行传输和更新。适用于数据量较小且不需要频繁更新的场景。
  • 优点：简单易实现，适合数据量小的场景。
  • 缺点：数据量大时效率低，网络和存储开销高。

2. 增量同步

  • 增量同步是指每次同步时只传输和更新自上次同步后发生变化的数据。适用于数据量较大且变化频繁的场景。
  • 优点：效率高，减少了数据传输量和系统负担。
  • 缺点：实现较复杂，需要能够准确检测到数据的变化。

3. 实时同步

  • 实时同步指的是数据一旦发生变化，便立即同步到目标系统中。通常使用消息队列（如Kafka、RabbitMQ）或CDC（Change Data Capture）等技术。
  • 优点：数据几乎可以做到实时一致，适合对数据实时性要求高的业务。
  • 缺点：对网络和系统性能要求高，实现复杂度较高。

4. 定时同步

  • 定时同步是指根据设定的时间间隔（例如每小时、每天）来执行同步操作。适用于对实时性要求不高但数据量较大的场景。
  • 优点：灵活可控，适合批量处理。
  • 缺点：数据同步不是实时的，可能会有数据滞后的情况。

5. 双向同步

  • 双向同步是指两个或多个系统之间的相互同步，即数据的变更会相互传递和同步。通常用于分布式数据库或多活数据中心等场景。
  • 优点：系统之间保持一致性，数据可多点写入。
  • 缺点：实现复杂，容易出现数据冲突和一致性问题。

6. 基于日志的同步

  • 基于日志的同步利用数据库的事务日志或binlog来捕获数据变化并同步到目标系统。常用的工具包括Debezium、Canal等。
  • 优点：增量捕获数据变化，实时性高。
  • 缺点：依赖于数据库的日志机制，对数据库性能可能有影响。

7. 文件同步

  • 文件同步是通过文件的方式来传输数据，如将数据导出为CSV、JSON或XML文件，然后通过FTP、SFTP等方式进行同步。适合数据结构不复杂的场景。
  • 优点：实现简单，兼容性好。
  • 缺点：实时性差，不适合复杂和频繁变化的数据。

不同的数据同步方式适用于不同的业务场景，选择合适的同步方式需要综合考虑数据量、实时性要求、网络和系统性能等因素。

探索WhaleTunnel的数据同步功能

在现代数据驱动型企业中，各系统和平台之间高效的数据同步至关重要。WhaleTunnel是由白鲸开源开发的数据集成产品，旨在通过提供强大的数据同步功能来应对现代企业数据管理面对的挑战。基于Apache SeaTunnel项目，WhaleTunnel提供了一整套批处理、实时和变更数据捕获（CDC）等数据集成功能。

1. 批处理数据同步

批处理数据同步是指将大量数据从源系统定期传输到目标系统。WhaleTunnel批流一体的架构支持离线全量同步和增量同步，适用于数据仓库、数据湖等需要大批量数据加载的场景。在批处理模式下，WhaleTunnel的Zeta引擎会持续创建分布式快照，这些快照可用于任务失败后的恢复或重新开始同步，从而保证数据的一致性。

2. 实时数据同步

实时数据同步能够将源系统中的数据实时传输到目标系统，适用于需要快速响应的数据场景，如消息队列（如Kafka）处理。WhaleTunnel通过将作业类型设置为STREAMING，配置实时同步任务。Zeta引擎在实时同步过程中不断创建分布式快照，以保存处理检查点。如果任务失败，系统会回滚到上一个成功的检查点，从而确保数据仅被处理一次，防止目标数据库中数据丢失或重复。

3. 变更数据捕获（CDC）同步

CDC（Change Data Capture）是一种通过读取数据库日志来捕获数据变化的方法。WhaleTunnel支持CDC实时同步和CDC离线增量同步，能够将源数据中的所有更改（插入、删除、更新）捕获并应用到下游目标系统。这种方法特别适用于需要数据持续更新和保持一致性的场景。

WhaleTunnel的Zeta引擎在执行CDC同步时，持续进行分布式快照，以确保每个任务的处理检查点被保留。在任务失败时，系统会回滚到上一个成功的检查点，确保数据的完整性和一致性。

4. 支持无主键的增量数据集成

传统增量同步集成的方式有如下缺点：

  • 表中必须的自增ID或其它能用于判断是增量数据的字段，这限制了能做增量同步的表的范围。
  • 无法识别删除的数据和修改的数据，只能同步新增的数据，目标数据源中的数据无法与源端保持一致。

而WhaleTunnel无主键增量数据CDC的集成方式，会在离线同步作业运行时先记录当前数据库日志中最新的点位N，然后开始从上一次任务结束时记录的点位M进行增量处理，当读取到数据库日志中的N点位时，认为这一次离线同步完成，任务完成并退出。

在没有CDC离线同步的情况下，如果我们要进行数据库增量同步，必须指定一个用于判断是否是新数据的字段，这个字段可以是自增的ID字段，或者是数据的写入时间字段等。

有了离线CDC同步，就可以彻底解决以上两个问题。离线CDC同步的核心是通过读取并解析源端数据的变更日志来获取数据变化，可以拿到新增数据、删除数据和修改数据等所有变更信息，然后将这一变更操作同步应用到目标数据库。 这种方式对源表没有任何限制，而且可以完成所有数据操作类型的变更，使目标数据源真正与源端数据库保存一致。

WhaleTunnel同时支持实时同步和离线同步两种模式。进行一次源表历史数据的全量读取，然后自动切换到增量日志的增量读取、解析、发送到下游、写入目标数据源。整个过程中程序是一直运行的，如果源表不再有数据更新操作，同步作业也不会停止，会一直等待有新的数据进来。

在实时CDC同步过程中，WhaleTunnel的同步引擎Zeta会不断的运行分布式快照来保存每个任务处理的点位，如果任务失败，Zeta会将任务从上一次处理成功的点位进行回滚。通过这种方式，WhaleTunnel能保证数据只会被处理一次，最终在目标数据库中不会出现数据丢失或者重复的问题。

5. 全库同步与自动表结构变更

WhaleTunnel支持全库同步和自动表结构变更功能。

  • 表结构变更应用
    传统的CDC都无法检测上游的表结构变更，无法将表结构变更同步应用到下目标数据源。WhaleTunnel CDC拥有一个叫Schema Evolution的特性完美解决了这个问题，开启这个特性后，对于下游支持表变更的引擎可以有选择的“同步”表结构的变化给下游系统，减少人工参与。
  • CDC 多表同步和整库同步


CDC基本流程

目前行业内大部分同步产品在做CDC同步时，都需要每张表启动一个Job来同步，当需要同步的表比较多时，会造成大量的计算资源的浪费，还会造成数据库连接使用过多。数据库连接是非常重要的资源，一旦无限制的占用过多的数据库连接，可能会导致数据源出现不稳定的问题。
WhaleTunnel CDC通过多表同步来解决这个问题。用户可以指定在一个作业中同步多张表的数据，Zeta为会根据用户的配置启动一个或多个同步线程来处理数据库日志中的数据，每个同步线程只需要一个数据库连接。这可以大大减小数据库连接的使用，以往我们同步10000张表的数据需要10000个数据库连接，使用WhaleTunnel CDC甚至可以做到只使用一个数据库连接就能完成同步。

  • CDC分库分表同步
    WhaleTunnel支持分库分表的数据同步，在作业配置时，每个Source任务可以同步一个数据库实例中的分库和分表，如果我们有多个数据库实例，只需要每个数据库实例配置一个Source即可。WhaleTunnel Zeta会将下面的作业优化成3个pipeline执行，每个pipeline是独立进行容错的调度的，这就意味着即使某一个MySQL实例挂了，也不会影响另外两个MySQL实例上的数据同步到下游的ClickHouse中。

  • CDC实时同步动态加表
    在做整库CDC实时同步和多表CDC实时同步时，有时候需要添加一些新的表来同步。WhaleTunnel CDC支持在不停止同步作业的情况下动态添加新的同步表。新添加的表会由新的线程开始执行历史数据的快照读取阶段，然后增量日志读取阶段交由其它表已经在使用的增量同步线程来完成。


动态发现新表

可以看到，WhaleTunnel提供了丰富多样的数据同步方法，供用户在处理不同的业务场景时选择最合适的方式去进行应用部署。

至关重要的一点是，WhaleTunnel从设计之初就定位为云原生数据同步平台，支持在Kubernetes（K8S）上部署，并利用云存储作为元数据存储。此外，它还提供了完整的可视化开发界面，支持任务开发、管理、调度和监控，简化了数据集成任务的定义和执行过程，这让数据同步的操作变得更加简单，极大地降低了用户的数据管理成本。

结论

WhaleTunnel作为一个领先的数据同步和集成工具，通过支持多种同步方式（批处理、实时、CDC），以及无主键的增量同步和自动表结构变更等功能，为企业的数据集成需求提供了高效、稳定和灵活的解决方案。对于希望优化数据管理和提升数据利用率的企业而言，WhaleTunnel无疑是一个值得考虑的选择，欢迎联系下方小助手尝试使用。

本文由 白鲸开源 提供发布支持！