data-engineering

SQL Translator 是一個使用人工智慧將自然語言查詢轉換為 SQL 代碼的工具。此專案 100% 免費且開源

pandas 在 AWS 上 - 與 Athena、Glue、Redshift、Timestream、Neptune、OpenSearch、QuickSight、Chime、CloudWatchLogs、DynamoDB、EMR、SecretManager、PostgreSQL、MySQL、SQLServer 以及 S3（Parquet、CSV、JSON 和 EXCEL）的輕鬆整合

從零開始學習資料工程的實用資源清單

Maestro：Netflix 的工作流協調器

極速資料處理工具包

Memphis.dev 是一個高度可擴展且輕鬆使用的資料流平台

學習如何設計、開發、部署與迭代生產級 ML 應用

以 Rust 編寫的 Apache Spark 無縫替代方案，統一了批次處理、串流處理和運算密集型 AI 工作負載。

一份優秀的開源資料工程專案清單

Apache DevLake 是一個開源的開發數據平台，用於收集、分析和視覺化來自 DevOps 工具的碎片化數據，從中提取洞察以提升工程卓越性、開發者體驗和社群成長。

学习使用 LLM、代理、RAG、微调、LLMOps 与 AI 系统技术构建你的第二大脑 AI 助手

Meltano：宣告式、程式碼優先的資料整合引擎，助力實現您最狂野的資料與 ML 驅動產品創意。告別編寫、維護和擴充您自己的 API 整合。

Apache Hamilton 幫助資料科學家和工程師定義可測試、模組化、自文件化的資料流，並編碼血緣/追蹤與詮釋資料。可在任何 Python 執行的環境中執行與擴展。

RAG 的全新 SOTA——兼具原創檢索架構與面向人類及代理程式的開源知識庫。

低程式碼機器學習個人化排序服務，適用於文章、清單、搜尋結果與推薦，可提升使用者參與度。一個友善的 Learn-to-Rank 引擎

現代資料堆疊的 Data Contracts 引擎。https://www.soda.io

Datart 是新一代資料視覺化開放平台

Python 資料流處理

學習資料工程的最佳去處。由資料工程社群建立與維護。

Feathr – 企業級的可擴展統一資料與 AI 工程平台

精選的實用 dbt 資源列表

超過 2000+ 題的資料工程師面試問題

MLRun 是一個開源 MLOps 平台，用於在整個生命週期中快速構建與管理持續 ML 應用程式。MLRun 可整合至您的開發與 CI/CD 環境中，並自動化交付生產資料、ML 管道與線上應用程式。

🔥🔥🔥 開源 Reverse ETL —— hightouch 與 census 的替代方案。

包含 180 多個 YouTube 頻道的綜合列表，涵蓋 Data Science、Data Engineering、Machine Learning、Deep learning、Computer Science、程式設計、軟體工程等領域。

👾 nao 是一個開源分析代理程式。(1) 使用 nao-core CLI 建立上下文，(2) 為所有人部署 nao 對話介面

:bar_chart: :clipboard: 使用 YAML 或 JSON 檔案的儀表板

ktx 是一個用於資料與分析代理程式的可執行上下文層 🐙 允許 Claude Code、Codex 或其他 AI 代理程式以完整公司上下文準確查詢分析資料庫

適用於 Kafka 的 Python 串流 DataFrames

讓並行 Python 變得簡單