data-engineering

Apache Superset 是一個資料視覺化與資料探索平台

学习如何开发、部署并迭代生产级 ML 应用

Apache Airflow - 一個以程式方式編寫、排程與監控工作流程的平台

Data Engineering Zoomcamp 是一個為期 9 週的免費課程，教導建構可投入生產的資料管線。下一期課程於 2026 年 1 月開始。點此加入課程 👇🏼

📚 企業分享的資料科學與機器學習實務論文與技術部落格。

面向關鍵任務應用的事件驅動編排與排程平台

Prefect 是用於 Python 的工作流程編排框架，打造具彈性的資料管線

開源資料搬移工具，用於 ELT 流程與 AI 代理——支援 API、資料庫與檔案至資料倉儲、資料湖與 AI 應用，提供自行部署與雲端方案

將資料與 AI 演算法快速轉換為可投入生產的 Web 應用程式

Kubernetes 工作流引擎

用於資料資產開發、部署與觀測的編排平台

資料工程烹飪書

隨時掌握資料的預期表現。

針對情境與可追溯 AI 系統的圖本質基礎建設

長期規劃代理的增量引擎 🌟 喜歡請點星

🐚 以 Python 為核心的 Shell，功能完整、跨平台且友好 AI

針對代理式 AI 的事件串流平台，持續即時、大規模地擷取、轉換與提供事件串流

🧙 建置、執行與管理資料管線，用於資料整合與轉換

讓繁雜的串流處理變得簡單易行

開源功能旗標、實驗與產品分析

AI/ML 的開源特徵庫（Feature Store）

LLM 驅動的非結構化資料抽取 — 為 API 部署與 ETL 工作流程設計

以程式碼形式的商業智慧：使用 SQL 與 markdown 快速建立互動式資料視覺化

用於雲端設定與安全資料的資料管線。建構雲端資產清單、CSPM、FinOps 與漏洞管理解決方案。從 AWS、Azure、GCP 及 70 多個雲端與 SaaS 來源抽取資料

data load tool (dlt) 是一個開源 Python 函式庫，讓資料載入變得簡單 🛠️

高性能数据引擎，适用于 AI 与多模态工作负载。可在任何规模下处理图像、音频、视频和结构化数据

lakeFS - 資料湖的資料版本控制 | Git for data

DeepAnalyze是第一個自主式LLM，用於自動化數據科學。🎈你的AI數據分析師，自動分析大量數據，一鍵生成專業分析報告！

以隱私與安全為核心的 Segment 替代方案，使用 Golang 與 React 開發。

從 A 到 Z 的資料科學路線圖。