data-integration

Apache Airflow - 一個以程式方式編寫、排程與監控工作流程的平台

開源資料搬移工具，用於 ELT 流程與 AI 代理——支援 API、資料庫與檔案至資料倉儲、資料湖與 AI 應用，提供自行部署與雲端方案

將資料與 AI 演算法快速轉換為可投入生產的 Web 應用程式

用於資料資產開發、部署與觀測的編排平台

SeaTunnel 是一款多模式、高效能、分散式、大規模資料整合工具。

🧙 建置、執行與管理資料管線，用於資料整合與轉換

用於雲端設定與安全資料的資料管線。建構雲端資產清單、CSPM、FinOps 與漏洞管理解決方案。從 AWS、Azure、GCP 及 70 多個雲端與 SaaS 來源抽取資料

Flink CDC 是一個串流資料整合工具

大數據上的上插、刪除與增量處理

🦀 事件流處理，協助開發者收集並轉換流動資料，打造響應式資料密集型應用。

Jitsu 是一个开源的 Segment 替代方案。完全可脚本化的数据摄取引擎，适用于现代数据团队。几分钟内即可设置实时数据管道，而非数天。

資料存取與運營智慧的交匯點

以隱私與安全為核心的 Segment 替代方案，使用 Golang 與 React 開發。

資料整合框架

ingestr 是一個 CLI 工具，能用單一命令無縫複製任何資料庫之間的資料

社群策劃的單細胞軟體包與資料資源清單，包括RNA-seq、ATAC-seq等

Apache DevLake 是一個開源的開發數據平台，用於收集、分析和視覺化來自 DevOps 工具的碎片化數據，從中提取洞察以提升工程卓越性、開發者體驗和社群成長。

superglue (YC W25) 從自然語言建構整合與工具。為長尾與企業系統取得生產級的工具。

Hop 編排平台

一個快速且多功能的 ETL 工具，可在 RDBMS 與 NoSQL 之間無縫傳輸資料

可在您自己的伺服器或雲端部署的開源 ETL/ELT。基於 DuckDB 打造：無程式碼/低程式碼視覺化管線或 SQL、385 個元件、dbt、CDC、資料品質、反向 ETL、血緣追蹤、供 AI 代理使用的 MCP。沒有廠商雲端，也沒有按列計費。

關於知識圖譜的深入教學與論文

🌊 使用 Estuary 管理資料流，持續將資料所在的系統同步至你_希望_資料存在的系統。 🌊

SeaTunnel 是一個分散式、高效能的資料整合平台，用於海量資料（離線與即時）的同步與轉換。

持續更新的資料代理（Data Agents）進展論文列表。與我們的論文「A Survey of Data Agents: Emerging Paradigm or Overstated Hype?」配套的儲存庫。

NicheNet：預測相互作用細胞之間的活躍配體-標靶連結

使用 Harmony 進行快速、靈敏且準確的單細胞數據整合

Conduit 在資料儲存庫之間串流資料。Kafka Connect 的替代品。不需要 JVM。

精選的開源工具清單，用於分析平台與資料工程生態系統

彙整 Apache Hudi 相關資料