data-engineering

用于数据清理的干净 API。R 套件 Janitor 的 Python 实现

书籍伴随源码：《Google Cloud Platform 上的数据科学》，Valliappa Lakshmanan 著，O'Reilly 出版，2017 年

首个开源的数据发现与可观测性平台。我们让数据从业者轻松工作，以便您专注于业务。

一个全方位的 Python 包模板，用于快速启动并标准化您的 MLOps 计划与数据管道。

精选来自顶尖科技公司的 300 多篇工程技术博客文章。了解顶尖工程团队如何大规模解决实际问题。

来自真实世界专家的最全面 SQL 指南！学习从基础到进阶查询、优化以及实际的 SQL 应用

Quilt 是 AWS 上的科学数据管理平台，通过具有深度版本控制且内容丰富的数据套件，帮助团队和 AI 寻找、信任并重复使用数据。

可在您自己的服务器或云端部署的开源 ETL/ELT。基于 DuckDB 打造：无代码/低代码可视化管道或 SQL、385 个组件、dbt、CDC、数据质量、反向 ETL、血缘追踪、供 AI 代理使用的 MCP。没有厂商云端，也没有按行计费。

精选但不完整的数据中心 AI 资源列表。

数据工程与机器学习知识中心

Open Data Contract Standard (ODCS) 的发源地。

📙 超赞的数据目录与可观测性平台。

强制执行数据契约

🌊 使用 Estuary 管理数据流，持续将数据所在的系统同步至你_希望_数据存在的系统。 🌊

FlyFish 是一个数据可视化代码平台。我们可以通过简单的方式快速创建数据模型，并通过拖拽快速生成一套数据可视化解决方案。

使用 SQL Server 构建现代数据仓库的综合指南，包括 ETL 过程、数据建模和分析。

Egeria 核心

另一个包含西班牙语数据工程基础概念、技术挑战与资源的存储库 🧙✨

社区驱动、简单且强大的框架，用于快速、具成本效益的分布式数据运算。

Neum AI 是一套同级最佳的框架，用于大规模管理向量嵌入的创建与同步。

Udemy 课程“The Complete dbt (Data Build Tool) Bootcamp”的补充教材

实用数据工程：实战房地产项目指南

用于构建高效数据管道的 Python 框架。它促进了模块化与协作，能够从简单、可重复使用的组件创建复杂的管道。

用于 dbt、SQL 与云端数据仓库的开源 agentic 数据工程框架。包含 100 多种工具、10 个数据仓库，并支持 AI。

更深入了解你的资料！Datavines 是新一代数据可观测性平台，支持元数据管理与数据质量。

透过 BigFunctions 为 BigQuery 提速。

失败机器学习项目的真实世界高调案例汇编

VectorFlow 是一个高吞吐量的向量嵌入管道，能获取原始数据、将其转换为向量，并写入您选择的向量数据库中。

数据流引擎是一款面向数据集成、数据同步、数据交换、数据共享、任务配置、任务调度的底层数据驱动引擎。数据流引擎采用管执分离、多流层、插件库等体系应对大规模数据任务、数据高频上报、数据高频采集、异构数据兼容的实际数据问题。

Synmetrix – 基于 Cube 的生产级开源语义层