data-engineering

SQL Translator 是一个使用人工智能将自然语言查询转换为 SQL 代码的工具。此项目 100% 免费且开源

pandas 在 AWS 上 - 与 Athena、Glue、Redshift、Timestream、Neptune、OpenSearch、QuickSight、Chime、CloudWatchLogs、DynamoDB、EMR、SecretManager、PostgreSQL、MySQL、SQLServer 以及 S3（Parquet、CSV、JSON 和 EXCEL）的轻松整合

从零开始学习数据工程的实用资源清单

Maestro：Netflix 的工作流协调器

极速数据处理工具包

Memphis.dev 是一个高度可扩展且轻松使用的数据流平台

学习如何设计、开发、部署与迭代生产级 ML 应用

以 Rust 编写的 Apache Spark 无缝替代方案，统一了批处理、流处理和计算密集型 AI 工作负载。

一份优秀的开源数据工程项目清单

Apache DevLake 是一个开源的开发数据平台，用于收集、分析和可视化来自 DevOps 工具的碎片化数据，从中提取洞察以提升工程卓越性、开发者体验和社区成长。

学习使用 LLM、代理、RAG、微调、LLMOps 与 AI 系统技术构建你的第二大脑 AI 助手

Meltano：声明式、代码优先的数据集成引擎，助力实现您最狂野的数据与 ML 驱动产品创意。告别编写、维护和扩展您自己的 API 集成。

Apache Hamilton 帮助数据科学家和工程师定义可测试、模块化、自文档化的数据流，并编码血缘/追踪与元数据。可在任何 Python 执行的环境中执行与扩展。

RAG 的全新 SOTA——兼具原创检索架构与面向人类及智能体的开源知识库。

低代码机器学习个性化排序服务，适用于文章、列表、搜索结果与推荐，可提升用户参与度。一个友好的 Learn-to-Rank 引擎

现代数据栈的 Data Contracts 引擎。https://www.soda.io

Datart 是新一代数据可视化开放平台

Python 流处理

学习数据工程的最佳去处。由数据工程社群建立与维护。

Feathr – 企业级可扩展的统一数据与 AI 工程平台

精选的实用 dbt 资源列表

超过 2000+ 道的数据工程师面试题

MLRun 是一个开源 MLOps 平台，用于在整个生命周期中快速构建与管理持续 ML 应用程序。MLRun 可集成到您的开发与 CI/CD 环境中，并自动化交付生产数据、ML 管道和在线应用程序。

🔥🔥🔥 开源 Reverse ETL —— hightouch 与 census 的替代方案。

包含 180 多个 YouTube 频道的综合列表，涵盖 Data Science、Data Engineering、Machine Learning、Deep learning、Computer Science、编程、软件工程等领域。

👾 nao 是一个开源分析代理程序。(1) 使用 nao-core CLI 创建上下文，(2) 为所有人部署 nao 对话界面

:bar_chart: :clipboard: 使用 YAML 或 JSON 文件的仪表板

ktx 是一个用于数据与分析代理程序的可执行上下文层 🐙 允许 Claude Code、Codex 或其他 AI 代理程序以完整公司上下文准确查询分析数据库

用于 Kafka 的 Python 流式 DataFrames

让并行 Python 变得简单