etl

用于流处理、实时分析、LLM 管道与 RAG 的 Python ETL 框架。

Apache Airflow - 一个以程序方式编写、调度与监控工作流的平台

面向关键任务应用的事件驱动编排与调度平台

高性能 observability 数据管线。

开源数据搬移工具，用于 ELT 流程与 AI 代理——支持 API、数据库与文件至数据仓库、数据湖与 AI 应用，提供自托管与云端方案

用于数据资产开发、部署与观测的编排平台

长期规划代理的增量引擎 🌟 喜欢请点星

🧙 构建、运行与管理数据管道，用于数据集成与转换

Fancy stream processing made operationally mundane

Zero-ETL，无限可能。实时查询 API、代码等皆可使用 SQL，无需数据库。

用于云配置与安全数据的数据管道。构建云资产清单、CSPM、FinOps 与漏洞管理解决方案。从 AWS、Azure、GCP 及 70 多个云与 SaaS 来源提取数据

Flink CDC 是一个流式数据集成工具

高性能数据引擎，适用于 AI 与多模态工作负载。可在任何规模下处理图像、音频、视频和结构化数据

以隐私与安全为核心的 Segment 替代方案，使用 Golang 与 React 开发。

pandas 在 AWS 上 - 与 Athena、Glue、Redshift、Timestream、Neptune、OpenSearch、QuickSight、Chime、CloudWatchLogs、DynamoDB、EMR、SecretManager、PostgreSQL、MySQL、SQLServer 以及 S3（Parquet、CSV、JSON 和 EXCEL）的轻松整合

基于 LLM 的代理式数据处理与 ETL 系统

Maestro：Netflix 的工作流协调器

关于基于节点的 UI 的精选资源清单

优秀 ETL 框架、库与软件的精选清单

可扩展且高效的数据转换框架，向后相容 dbt

快速、简单且具成本效益的工具，用于将数据从 Postgres 复制到数据仓库、队列和存储空间

Python 脚本，用于 Ethereum 区块、交易、ERC20 / ERC721 代币、转账、收据、日志、合约、内部交易的 ETL（提取、转换与加载）工作。数据可于 Google BigQuery 获取 https://goo.gl/oY5BCQ

Apache DevLake 是一个开源的开发数据平台，用于收集、分析和可视化来自 DevOps 工具的碎片化数据，从中提取洞察以提升工程卓越性、开发者体验和社区成长。

Apache Hamilton 帮助数据科学家和工程师定义可测试、模块化、自文档化的数据流，并编码血缘/追踪与元数据。可在任何 Python 执行的环境中执行与扩展。

🔮 Instill Core 是一个全端 AI 基础设施工具，用于数据、模型和管道编排，旨在简化构建多功能 AI 优先应用程序的每一个环节

主动维护的优秀 BI 工具列表。欢迎提交 PR！

单一 C++ 二进制文件中速度最快的统一流式 SQL 引擎。⚡ 毫秒级延迟。100+ GB/s 吞吐量。持续从流、日志、指标、事件与 CDC 中计算实时上下文。

一个用于 Go 的轻量级流处理库

学习数据工程的最佳去处。由数据工程社群建立与维护。

适用于 Ruby 的数据处理与 ETL 框架