data-engineering

用於資料清理的乾淨 API。R 套件 Janitor 的 Python 實作

書籍伴隨原始碼：《Google Cloud Platform 上的資料科學》，Valliappa Lakshmanan 著，O'Reilly 出版，2017 年

首個開源的資料發現與可觀測性平台。我們讓資料從業者輕鬆工作，以便您專注於業務。

一個全方位的 Python 套件範本，用於快速啟動並標準化您的 MLOps 計畫與資料管道。

精選來自頂尖科技公司的 300 多篇工程技術部落格文章。了解頂尖工程團隊如何大規模解決實際問題。

來自真實世界專家的最全面 SQL 指南！學習從基礎到進階查詢、最佳化以及實際的 SQL 應用

Quilt 是 AWS 上的科學資料管理平臺，透過具有深度版本控制且內容豐富的資料套件，幫助團隊和 AI 尋找、信任並重複使用資料。

可在您自己的伺服器或雲端部署的開源 ETL/ELT。基於 DuckDB 打造：無程式碼/低程式碼視覺化管線或 SQL、385 個元件、dbt、CDC、資料品質、反向 ETL、血緣追蹤、供 AI 代理使用的 MCP。沒有廠商雲端，也沒有按列計費。

精選但不完整的資料中心 AI 資源列表。

資料工程與機器學習知識中心

Open Data Contract Standard (ODCS) 的發源地。

📙 超讚的資料目錄與可觀測性平台。

強制執行資料合約

🌊 使用 Estuary 管理資料流，持續將資料所在的系統同步至你_希望_資料存在的系統。 🌊

FlyFish 是一個資料視覺化程式碼平台。我們可以透過簡單的方式快速建立資料模型，並透過拖曳快速產生一套資料視覺化解決方案。

使用 SQL Server 構建現代資料倉儲的綜合指南，包括 ETL 過程、資料建模和分析。

Egeria 核心

另一個包含西班牙語資料工程基礎概念、技術挑戰與資源的儲存庫 🧙✨

社群驅動、簡單且強大的框架，用於快速、具成本效益的分散式資料運算。

Neum AI 是一套同級最佳的框架，可用於大規模管理向量嵌入的建立與同步。

Udemy 課程「The Complete dbt (Data Build Tool) Bootcamp」的補充教材

實用資料工程：實戰房地產專案指南

用於建構高效資料管線的 Python 框架。它促進了模組化與協作，能夠從簡單、可重複使用的元件建立複雜的管線。

用於 dbt、SQL 與雲端資料倉儲的開源 agentic 資料工程框架。包含 100 多種工具、10 個資料倉儲，並支援 AI。

更深入了解你的資料！Datavines 是新一代資料可觀測性平台，支援後設資料管理與資料品質。

透過 BigFunctions 為 BigQuery 提速。

失敗機器學習專案的真實世界高調案例彙編

VectorFlow 是一個高吞吐量的向量嵌入管線，能擷取原始資料、將其轉換為向量，並寫入您選擇的向量資料庫中。

數據流引擎是一款面向數據整合、數據同步、數據交換、數據共享、任務配置、任務調度的底層數據驅動引擎。數據流引擎採用管執分離、多流層、插件庫等體系應對大規模數據任務、數據高頻上報、數據高頻採集、異構數據兼容的實際數據問題。

Synmetrix – 基於 Cube 的生產級開源語意層