data-pipelines

用於串流處理、即時分析、LLM 管道與 RAG 的 Python ETL 框架。

Apache Airflow - 一個以程式方式編寫、排程與監控工作流程的平台

用於資料資產開發、部署與觀測的編排平台

將文件輕鬆轉換為結構化資料。Unstructured 是開源 ETL 解決方案，可將複雜文件轉換為乾淨的結構化格式供語言模型使用。訪問我們網站了解企業級平台產品，支援生產級工作流、分割、增強、切塊與嵌入。

Apache DolphinScheduler 是現代化的資料編排平台，低程式碼即可打造高效能工作流。

Kedro 是一套適用於生產環境的資料科學工具箱。它採用軟體工程最佳實踐，協助建立可重現、可維護且模組化的資料工程與資料科學管線。

🧙 建置、執行與管理資料管線，用於資料整合與轉換

使用最新 LLM 為基礎的運算子與管線，輕鬆進行資料前處理

🦀 事件流處理，協助開發者收集並轉換流動資料，打造響應式資料密集型應用。

Preswald 是一個針對 Python 互動式資料應用的 WASM 打包工具：將完整複雜的資料工作流程，尤其是視覺化，打包成單一檔案，完全在瀏覽器執行，使用 Pyodide、DuckDB、Pandas、Plotly、Matplotlib 等。建立可離線運行、快速載入、如文件般分享的儀表板、報告與筆記本。

基於 LLM 的代理式資料處理與 ETL 系統

Maestro：Netflix 的工作流協調器

Meltano：宣告式、程式碼優先的資料整合引擎，助力實現您最狂野的資料與 ML 驅動產品創意。告別編寫、維護和擴充您自己的 API 整合。

專為資料與分析工程師打造的 dbt 原生資料可觀測性解決方案。幾分鐘內即可監控您的資料管線。提供具備進階功能的自我主機部署或雲端服務。

Feldera 增量計算引擎

學習資料工程的最佳去處。由資料工程社群建立與維護。

快速且高效的非結構化資料萃取。以 Rust 編寫，並提供多種語言的綁定。

使用 SQL 與 Python 建立資料管線、從不同來源擷取資料、加入品質檢查，並建構端到端流程。

MLeap：將 ML Pipelines 部署至生產環境

讓並行 Python 變得簡單

首個開源的資料發現與可觀測性平台。我們讓資料從業者輕鬆工作，以便您專注於業務。

一個全方位的 Python 套件範本，用於快速啟動並標準化您的 MLOps 計畫與資料管道。

由 python 驅動的視覺化資料準備工具

Optimus 是一個易於使用、可靠且高效能的工作流程協調器，用於資料轉換、資料建模、管線與資料品質管理。

此 dbt 套件可擷取元數據、產出物與測試結果，協助你偵測異常、監控資料品質並建立元數據表。它為 Elementary OSS 提供支援，並為 Elementary Cloud 的完整資料與 AI 控制平面提供更廣泛的情境層。