産品概述

Apache SeaTunnel 是一個非常易用的超高性能分布式數據集成産品，支持海量數據的離線及實時同步。每天可穩定高效同步萬億級數據，已應用于數百家企業生産，也是首個由國人主導貢獻到 Apache 基金會的數據集成頂級項目。

SeaTunnel 主要解決數據集成領域的常見問題：

* 數據源多樣：常用的數據源有數百種，版本不兼容。隨著新技術的出現，出現了更多的數據源。用戶很難找到能夠全面快速支持這些數據源的工具。

* 複雜同步場景：數據同步需要支持離線-全量同步、離線-增量同步、CDC、實時同步、全庫同步等多種同步場景。

* 資源需求高：現有的數據集成和數據同步工具往往需要大量的計算資源或JDBC連接資源來完成海量小表的實時同步。這在一定程度上加重了企業的負擔。

* 缺乏質量和監控：數據集成和同步過程經常會丟失或重複數據。同步過程缺乏監控，無法直觀了解任務過程中數據的真實情況。

* 技術棧複雜：企業使用的技術組件各不相同，用戶需要針對不同的組件開發相應的同步程序來完成數據集成。

* 管理維護困難：市面上的數據集成工具通常受限于不同的底層技術組件（Flink/Spark），使得離線同步和實時同步往往是分開開發和管理的，增加了管理和維護的難度。

SeaTunnel 産品實現了高可靠性、集中管理、可視化監控等一體的數據集成統一平台。

平台可以實現了標准化、規範化、界面化操作；實現了數據同步高速化，全量到增量無鎖化自動切換，目前已經支持 100+ 種數據源；支持整庫同步、表結構自動變更；同時無中心化設計確保系統的高可用機制，整體上做到簡單易用，開箱即用。

同類産品橫向對比

對比項Apache SeaTunnelDataXApache SqoopApache FlumeFlink CDC部署難度容易容易中等，依賴于 Hadoop 生態系統容易中等，依賴于 Hadoop 生態系統運行模式分布式，也支持單機單機本身不是分布式框架，依賴 Hadoop MR 實現分布式分布式，也支持單機分布式，也支持單機健壯的容錯機制無中心化的高可用架構設計，有完善的容錯機制易受比如網絡閃斷、數據源不穩定等因素影響MR 模式重，出錯處理麻煩有一定的容錯機制主從模式的架構設計，容錯粒度比較粗，容易造成延時支持的數據源豐富度支持 MySQL、PostgreSQL、Oracle、SQLServer、Hive、S3、RedShift、HBase、Clickhouse等過 100 種數據源支持 MySQL、ODPS、PostgreSQL、Oracle、Hive 等 20+ 種數據源僅支持 MySQL、Oracle、DB2、Hive、HBase、S3 等幾種數據源支持 Kafka、File、HTTP、Avro、HDFS、Hive、HBase等幾種數據源支持 MySQL、PostgresSQL、MongoDB、SQLServer 等 10+ 種數據源內存資源占用少多多中等多數據庫連接占用少(可以共享 JDBC 連接)多多多多(每個表需一個連接)自動建表支持不支持不支持不支持不支持整庫同步支持不支持不支持不支持不支持(每個表需配置一次)斷點續傳支持不支持不支持不支持支持多引擎支持支持 SeaTunnel Zeta、Flink、Spark 3 個引擎選其一作爲運行時只能運行在 DataX 自己引擎上自身無引擎，需運行在 Hadoop MR 上，任務啓動速度非常慢支持 Flume 自身引擎只能運行在 Flink 上數據轉換算子(Transform)支持 Copy、Filter、Replace、Split、SQL 、自定義 UDF 等算子支持補全，過濾等算子，可以 groovy 自定義算子只有列映射、數據類型轉換和數據過濾基本算子只支持 Interceptor 方式簡單轉換操作支持 Filter、Null、SQL、自定義 UDF 等算子單機性能比 DataX 高 40% - 80%較好一般一般較好離線同步支持支持支持支持支持增量同步支持支持支持支持支持實時同步支持不支持不支持支持支持CDC同步支持不支持不支持不支持支持批流一體支持不支持不支持不支持支持精確一致性MySQL、Kafka、Hive、HDFS、File 等連接器支持不支持不支持不支持精確，提供一定程度的一致性MySQL、PostgreSQL、Kakfa 等連接器支持可擴展性插件機制非常易擴展易擴展擴展性有限，Sqoop主要用于將數據在Apache Hadoop和關系型數據庫之間傳輸易擴展易擴展統計信息有有無有無Web UI正在實現中(拖拉拽即可完成)無無無無與調度系統集成度已經與 DolphinScheduler 集成，後續也會支持其他調度系統不支持不支持不支持無社區非常活躍非常不活躍已經從 Apache 退役非常不活躍非常活躍

2.1、高可用、健壯的容錯機制

• DataX 只支持單機，SeaTunnel 和 Flink CDC 支持集群，因此在高可用上 DataX 是不支持的，DataX由于單機設計很易受網絡閃斷、數據源不穩定等因素的影響造成數據不一致問題。• Apache SeaTunnel具有無中心化的高可用架構設計和完善的容錯機制，SeaTunnel支持更細粒度的作業回滾機制，結合多階段提交與CheckPoint機制，確保數據一致的同時避免大量回滾導致性能下降• Flink CDC采用主從模式的架構設計，容錯粒度較粗，多表同步時，Flink 任何表出現問題都會導致整個作業失敗停止，導致所有表同步延遲。

在高可用維度上，SeaTunnel 和 Flink CDC 優勢很大

2.2、部署難度和運行模式

• Apache SeaTunnel 和 DataX 部署都十分容易。• Flink CDC 的部署難度中等，但因爲它依賴于 Hadoop 生態系統， 所以部署相對 SeaTunnel 會複雜一些。

2.3、支持的數據源豐富度

• Apache SeaTunnel 支持 MySQL、PostgreSQL、Oracle、SQLServer、Hive、S3、RedShift、HBase、Clickhouse 等 100 多種數據源。• DataX 支持 MySQL、ODPS、PostgreSQL、Hive 等 20 多種數據源。• Flink CDC 支持 MySQL、PostgreSQL、MongoDB、SQLServer 等 10 多種數據源。

Apache SeaTunnel 支持關系型數據庫、NOSQL 數據庫、數據倉庫、實時數倉、大數據、雲數據源、 SAAS、消息隊列、標准接口、文件、FTP等多種數據源同步,數據可以同步到任一指定的系型數據庫、NOSQL 數據庫、數據倉庫、實時數倉、大數據、雲數據源、 SAAS、標准接口、消息隊列、文件等目標數據源中,滿足政府、企事業單位對于數據流動的絕大多數需求。在這個維度的對比上，顯然 SeaTunnel 支持的數據源豐富度是遠遠高于其他兩個的。

2.4、內存資源占用

• Apache SeaTunnel 占用較少的內存資源，SeaTunnel Zeta 引擎的 Dynamic Thread Sharing 技術可提高 CPU 利用率，不依賴 HDFS，Spark 等複雜組件，具備更好單機處理性能。• DataX 和 Flink CDC 會占用較多的內存資源， Flink CDC 每個作業只能同步一張表，多張表同步需要啓動多個 Job 運行，造成巨大浪費資源。

2.5、數據庫連接占用

• Apache SeaTunnel 占用較少的數據庫連接，支持多表或整庫同步，解決 JDBC 連接過多的問題；同時實現了 zero-copy 技術，無需序列化開銷。• DataX 和 Flink CDC 占用較多的數據庫連接，他們每個 Task 只能處理一張表，每張表至少需要一個JDBC 連接來讀取或寫入數據。當進行多表同步和整庫同步時，需要大量的 JDBC 連接。

這通常是 DBA 們十分關注的，數據同步不能影響業務庫正常運行，所以控制連接數占用是十分必要的。

2.6、自動建表

• Apache SeaTunnel 支持自動建表。• DataX 和 Flink CDC 不支持自動建表。

2.7、整庫同步

• Apache SeaTunnel 設計有支持整庫同步，方便用戶使用，不需要爲每張表都寫一遍配置。• DataX 和 Flink CDC 不支持整庫同步，每個表需要單獨配置。

試想一下當你有數百張表，每張都單獨配置一遍是不是還是太費勁了些！

2.8、斷點續傳

斷點續傳功能在數據同步過程是十分實用的功能，支持斷點續傳將讓數據同步在手動暫停或出問題時能快速恢複繼續，Apache SeaTunnel 和 Flink CDC 可以支持斷點續傳，但 DataX 不支持斷點續傳。

2.9、多引擎支持

• Apache SeaTunnel 支持 SeaTunnel Zeta、Flink 和 Spark 三個引擎選其一作爲運行時。• DataX 只能運行在 DataX 自己的引擎上。• Flink CDC 只能運行在 Flink 上。

在引擎支持豐富度上，SeaTunnel 具有更佳的優勢。

2.10、數據轉換算子

• Apache SeaTunnel 支持 Copy、Filter、Replace、Split、SQL 和自定義 UDF 等算子。• DataX 支持補全、過濾等算子，還可以使用Groovy自定義算子。• Flink CDC 支持 Filter、Null、SQL 和自定義 UDF 等算子。

在數據轉換上，這 3 個支持力度差不多。

2.11、性能

因爲 DataX 只有單機版，所以對比性能時統一使用單機來進行

DataX 和 Flink CDC 的單機性能較好。但 Apache SeaTunnel 的單機性能比 DataX 高 40%-80% 左右。

社區有貢獻者曾做過測試，測試場景如下：

本地測試場景：MySQL-Hive, Postgres-Hive, SQLServer-Hive, Orache-Hive

雲測試場景：MySQL-S3

列數：32，基本包含大部分數據類型

行數：3000w 行

Hive 文件 text 格式 18G

測試節點：單機 8C16G

測試結果：

在本地測試場景下：SeaTunnel Zeta VS DataX

SeaTunnel Zeta 比 DataX 同步數據快 40-80% 左右。同時SeaTunnel Zeta 對內存的使用比 DataX 少且穩定的多。

在雲數據同步場景下：SeaTunnel 在 MySQL 到 S3 場景下性能是 Airbyte 的 30 多倍，是 AWS DMS 和 Glue 的 2 到 5 倍。

測試結果截圖

這樣的測試結果得益于 SeaTunnel Zeta 引擎專爲數據同步場景而進行的精心化設計：

• 不需要依賴三方組件，不依賴大數據平台無主（自選主）• 完善的Write Ahead Log 機制，即使整個集群重啓也可快速恢複之前正在運行的作業• 高效的分布式快照算法，強力保障數據一致性

2.12、離線同步

Apache SeaTunnel、DataX 和 Flink CDC 都支持離線同步，但 SeaTunnel 支持的數據源遠遠多于 DataX 和 Flink CDC。

2.13、增量同步 & 實時同步

• Apache SeaTunnel、DataX 和 Flink CDC 都支持增量同步。• Apache SeaTunnel 和 Flink CDC 支持實時同步。但 DataX 不支持實時同步。

2.14、CDC 同步

• Apache SeaTunnel 和 Flink CDC 支持 CDC 同步。• DataX 不支持 CDC 同步。

Change Data Capture（CDC）是一種用于實時數據同步的重要技術，它能夠捕獲數據源中發生的變化，從而實現對數據的實時更新和同步。隨著數據量和數據更新速度的增加，傳統的批量同步方法已經無法滿足實時性和即時性的需求。CDC 技術能夠以事件驅動的方式捕獲和傳遞數據變化，使得數據同步更加靈活、高效和准確。

在 CDC 同步領域，SeaTunnel 作爲一款強大的數據同步工具，具備突出的優勢。以下是 SeaTunnel 支持 CDC 同步的優勢：

1. 實時性：SeaTunnel 能夠實時捕獲源數據的變化，並將變化的數據實時傳遞到目標端。這意味著當源數據發生變化時，SeaTunnel 能夠立即捕獲到這些變化，並在最短的時間內將其同步到目標數據存儲中。這種實時性使得 SeaTunnel 非常適用于需要快速反應和及時更新的應用場景。2. 精確性：SeaTunnel 通過 CDC 技術能夠准確地捕獲和同步數據的變化，避免了傳統批量同步中可能存在的數據不一致性問題。它可以准確地追蹤和記錄源數據的每一次變化，確保目標端數據的精確性和一致性。這對于需要保持數據一致性和准確性的業務非常重要。3. 高效性：由于 CDC 同步只傳遞發生變化的數據，相比于全量數據同步，SeaTunnel 能夠顯著提高同步的效率和性能。SeaTunnel 只需要處理發生變化的數據，避免了不必要的數據傳輸和處理，節省了帶寬和計算資源。這種高效性使得SeaTunnel能夠應對大規模數據和高頻率數據變化的同步需求。4. 可靠性：SeaTunnel 通過采用可靠的 CDC 機制，確保了數據同步的可靠性和容錯性。它能夠應對網絡閃斷、數據源異常等異常情況，並保證數據同步的連續性和穩定性。SeaTunnel 的容錯機制能夠確保即使在異常情況下，數據同步不會丟失或出現錯誤。5. 多數據源支持：SeaTunnel 支持多種主流數據源的 CDC 同步，包括 MySQL、PostgreSQL、Oracle、SQLServer等。這使得 SeaTunnel 能夠適應不同類型的數據源，滿足各種複雜的數據環境下的同步需求。SeaTunnel能夠與不同數據源進行無縫集成，實現靈活、可擴展的CDC同步方案。

SeaTunnel 作爲一款功能強大的數據同步工具，通過其實時性、精確性、高效性、可靠性和多數據源支持等突出的優勢，能夠滿足不同業務場景下的 CDC 同步需求。無論是數據倉庫同步、實時數據分析還是實時數據遷移，SeaTunnel 都能夠提供可靠的 CDC 同步解決方案，助力用戶實現數據的及時更新和同步。

2.15、批流一體

• Apache SeaTunnel 和 Flink CDC 支持批流一體。• DataX 不支持批流一體。

SeaTunnel 和 Flink CDC 提供了統一的批流一體框架：SeaTunnel 提供了的一體化框架使得用戶可以同時處理批量數據和實時數據而不需要爲了批量同步配置一遍， 然後實時需要再配置一遍的過程。用戶可以通過SeaTunnel 的靈活配置，將批處理和流處理的邏輯結合在一起，批和流同步變成只需要配置一下模式(mode)的差別，大大簡化了開發和維護的工作，提高了數據處理的靈活性和效率。

2.16、精確一致性

• Apache SeaTunnel 支持 MySQL、Kafka、Hive、HDFS、File 等連接器的精確一致性。• DataX 不支持精確一致性。• Flink CDC 支持 MySQL、PostgreSQL、Kakfa 等連接器的精確一致性。

SeaTunnel 的精確一致性實現得益于 SeaTunnel 的 Sink & Source API 的設計，對 MySQL 等數據庫來說，SeaTunnel通過實現二階段提交（Two-Phase Commit，2PC）來保證數據同步過程中的一致性。二階段提交是一種分布式事務協議，用于在分布式系統中實現多個參與者的數據操作的一致性。

通過以上的二階段提交過程，SeaTunnel 能夠確保在數據同步過程中的一致性。SeaTunnel 實現了分布式環境下的數據操作的原子性和一致性。在正常情況下，所有參與者都成功執行了數據操作並提交數據，而在異常情況下，參與者能夠回滾之前的數據操作，確保數據的一致性。這種機制使得 SeaTunnel 能夠在分布式數據同步中提供可靠的數據一致性保證。其 Sink API 如下：

2.17、可擴展性

• Apache SeaTunnel、DataX 和 Flink CDC 都具有易擴展性，並支持插件機制。

三者均采用插件化設計，允許用戶通過編寫自定義插件來擴展其功能。插件可以添加新的數據源、數據轉換算子、數據處理邏輯等。使得用戶可以根據自己的需求定制和擴展功能。

除此之外，Apache SeaTunnel 已經與 DolphinScheduler 集成，並計劃支持其他調度系統。目前 DataX 和 Flink CDC 均不支持與調度系統集成。

SeaTunnel 與其他工具和系統的集成非常方便。SeaTunnel 提供了與常見的調度系統、任務調度框架和數據生態系統的集成接口。通過這些接口，用戶可以將 SeaTunnel 與現有的工具和系統進行無縫集成，實現更強大的數據處理和調度能力。

2.18、統計監控信息

• Apache SeaTunnel 和 DataX 都具有統計信息。• Flink CDC 沒有統計信息。

做過數據同步的夥伴都應該清楚不知道數據同步進度和速率是多麽痛苦的一件事，幸運的是 SeaTunnel 推出了 SeaTunnel web 監控頁面，提供了多維度的監控信息，讓數據同步一目了然

2.19、可視化操作

• Apache SeaTunnel 正在實現中，可以通過拖拉拽完成操作。• DataX 和 Flink CDC 沒有 Web UI。

SeaTunnel 提供了如下的可視化操作界面，讓用戶開箱即用：

2.20、社區

• Apache SeaTunnel 和 Flink CDC 社區非常活躍。• DataX 社區活躍度低。

SeaTunnel 的活躍社區和強大生態系統也是其成功的關鍵。作爲一個開源項目，SeaTunnel 擁有龐大的開發者社區和用戶社區，他們爲 SeaTunnel 的發展和改進做出了巨大貢獻。豐富的文檔、案例和示例代碼，以及積極的技術交流，使得用戶能夠更好地理解和使用 SeaTunnel，並及時解決遇到的問題。這種活躍的社區支持爲用戶提供了強大的後盾，保證了 SeaTunnel 的持續發展和改進。

特別的，我們 Flink CDC，SeaTunnel Zeta 引擎的優勢對比如下：

Flink 是非常優秀的流計算引擎，Zeta 是我們專爲數據同步這個場景打造的，更適合于高性能數據同步這個場景！

總結

Apache SeaTunnel 作爲一款強大的數據同步和轉換工具，憑借其部署易用性、容錯機制、數據源支持、性能優勢、功能豐富性以及活躍的社區支持，成爲了數據工程師們不可或缺的利器。

SeaTunnel 能夠滿足各種規模和類型的數據處理需求，爲用戶提供高效、穩定和靈活的數據處理解決方案。隨著數據環境的不斷演變和發展，SeaTunnel 將繼續在數據同步和轉換領域發揮領導作用，推動數據驅動的業務發展。