data-pipeline

開源資料搬移工具，用於 ELT 流程與 AI 代理——支援 API、資料庫與檔案至資料倉儲、資料湖與 AI 應用，提供自行部署與雲端方案

以分散式 SQL 為基礎，提供跨所有資料庫的分片、可擴充性與安全性，賦能資料智慧化

支援多種資料庫的變更資料捕獲。請於 https://github.com/debezium/dbz/issues 回報問題。

高效能 AI 流程引擎，核心使用 C++，提供 50+ 可用 Python 擴充節點。可在 IDE 中構建、除錯與擴展 LLM 工作流，支援 13+ 模型供應商、8+ 向量資料庫與代理協調。包含 VS Code 擴充、TypeScript/Python SDK 與 Docker 部署。

客戶資料基礎設施領導者。

為基礎模型提供資料處理！🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Flink CDC 是一個串流資料整合工具

資料存取與運營智慧的交匯點

以隱私與安全為核心的 Segment 替代方案，使用 Golang 與 React 開發。

從零開始學習資料工程的實用資源清單

ingestr 是一個 CLI 工具，能用單一命令無縫複製任何資料庫之間的資料

可自託管的工作流協調器，適用於主要工作非協調的團隊。使用YAML描述腳本、SSH命令、容器等；將工作流與業務邏輯分離。單個二進位檔，無資料庫，適合有限硬體資源。Airflow/Cron/Job Scheduler的替代方案

Memphis.dev 是一個高度可擴展且輕鬆使用的資料流平台

為你的 Agent 所需的所有模型提供開源推論伺服器與生產叢集。

用於機器學習模型與資料管道的開源資料記錄函式庫。📚 提供對資料品質與模型長期效能的可視性。🛡️ 支援保護隱私的資料收集，確保安全與穩健性。📈

專為資料與分析工程師打造的 dbt 原生資料可觀測性解決方案。幾分鐘內即可監控您的資料管線。提供具備進階功能的自我主機部署或雲端服務。

一個用於 Go 的輕量級串流處理函式庫

CLI 任務管理與自動化工具

🔥🔥🔥 開源 Reverse ETL —— hightouch 與 census 的替代方案。

OLake - 最快的資料庫、Kafka 與 S3 複製工具，支援 Apache Iceberg 與表格最佳化（稱為 OLake Fusion）。⚡ 針對即時分析提供高效、快速且具擴充性的資料匯入。支援的來源：Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3。

書籍伴隨原始碼：《Google Cloud Platform 上的資料科學》，Valliappa Lakshmanan 著，O'Reilly 出版，2017 年

可在您自己的伺服器或雲端部署的開源 ETL/ELT。基於 DuckDB 打造：無程式碼/低程式碼視覺化管線或 SQL、385 個元件、dbt、CDC、資料品質、反向 ETL、血緣追蹤、供 AI 代理使用的 MCP。沒有廠商雲端，也沒有按列計費。

zerocode-tdd 是一個社群開發、免費、開源、以結果為導向的自動化測試工具，適用於資料管線、ETL、REST API、Kafka（資料流）、資料庫和負載情境。全部透過簡單的 JSON 或 YAML 定義——完全無需寫程式。

🌊 使用 Estuary 管理資料流，持續將資料所在的系統同步至你_希望_資料存在的系統。 🌊

SeaTunnel 是一個分散式、高效能的資料整合平台，用於海量資料（離線與即時）的同步與轉換。

更聰明的音訊資料管線。

用於異質運算環境中協調機器學習、高效能運算、量子運算工作流程的 Pythonic 工具。

實用資料工程：實戰房地產專案指南

Conduit 在資料儲存庫之間串流資料。Kafka Connect 的替代品。不需要 JVM。

精選的開源工具清單，用於分析平台與資料工程生態系統