etl

用於串流處理、即時分析、LLM 管道與 RAG 的 Python ETL 框架。

Apache Airflow - 一個以程式方式編寫、排程與監控工作流程的平台

面向關鍵任務應用的事件驅動編排與排程平台

高效能觀測資料管線

開源資料搬移工具，用於 ELT 流程與 AI 代理——支援 API、資料庫與檔案至資料倉儲、資料湖與 AI 應用，提供自行部署與雲端方案

用於資料資產開發、部署與觀測的編排平台

長期規劃代理的增量引擎 🌟 喜歡請點星

🧙 建置、執行與管理資料管線，用於資料整合與轉換

讓繁雜的串流處理變得簡單易行

Zero-ETL，無限可能。即時查詢 API、程式碼等皆可使用 SQL，無需資料庫。

用於雲端設定與安全資料的資料管線。建構雲端資產清單、CSPM、FinOps 與漏洞管理解決方案。從 AWS、Azure、GCP 及 70 多個雲端與 SaaS 來源抽取資料

Flink CDC 是一個串流資料整合工具

高性能数据引擎，适用于 AI 与多模态工作负载。可在任何规模下处理图像、音频、视频和结构化数据

以隱私與安全為核心的 Segment 替代方案，使用 Golang 與 React 開發。

pandas 在 AWS 上 - 與 Athena、Glue、Redshift、Timestream、Neptune、OpenSearch、QuickSight、Chime、CloudWatchLogs、DynamoDB、EMR、SecretManager、PostgreSQL、MySQL、SQLServer 以及 S3（Parquet、CSV、JSON 和 EXCEL）的輕鬆整合

基於 LLM 的代理式資料處理與 ETL 系統

Maestro：Netflix 的工作流協調器

關於基於節點的 UI 的精選資源清單

優秀 ETL 框架、函式庫與軟體的精選清單

可擴展且高效的資料轉換框架，向後相容 dbt

快速、簡單且具成本效益的工具，用於將資料從 Postgres 複製到資料倉儲、佇列和儲存空間

Python 腳本，用於 Ethereum 區塊、交易、ERC20 / ERC721 代幣、轉帳、收據、日誌、合約、內部交易的 ETL（提取、轉換與載入）工作。資料可於 Google BigQuery 取得 https://goo.gl/oY5BCQ

Apache DevLake 是一個開源的開發數據平台，用於收集、分析和視覺化來自 DevOps 工具的碎片化數據，從中提取洞察以提升工程卓越性、開發者體驗和社群成長。

Apache Hamilton 幫助資料科學家和工程師定義可測試、模組化、自文件化的資料流，並編碼血緣/追蹤與詮釋資料。可在任何 Python 執行的環境中執行與擴展。

🔮 Instill Core 是一個全端 AI 基礎設施工具，用於資料、模型和管線編排，旨在簡化建構多功能 AI 優先應用程式的每一個環節

主動維護的優秀 BI 工具清單。歡迎提交 PR！

單一 C++ 二進位檔中速度最快的統一串流 SQL 引擎。⚡ 毫秒級延遲。100+ GB/s 吞吐量。持續從串流、日誌、指標、事件與 CDC 中計算即時上下文。

一個用於 Go 的輕量級串流處理函式庫

學習資料工程的最佳去處。由資料工程社群建立與維護。

適用於 Ruby 的資料處理與 ETL 框架