etl

快速且高效的非结构化数据提取。以 Rust 编写，并提供多种语言的绑定。

🔥🔥🔥 开源 Reverse ETL —— hightouch 与 census 的替代方案。

数据库报表工具与任务 (.Net)

仿效 Yahoo! Pipes 的 Python 流处理引擎

Dozer 是一个实时数据移动工具，利用来自各种来源的 CDC，并将数据移动至各种目的端。

给开发者与黑客的开放式文档智能平台 - 代理式世界的 DMS

Hop 编排平台

一个快速且多功能的 ETL 工具，可在 RDBMS 与 NoSQL 之间无缝传输数据

将 Postgres、MySQL 或 MariaDB 同步至 Elasticsearch/OpenSearch

由 python 驱动的可视化数据准备工具

基于 Flink、DataX 与 Flink-CDC 并支持 Web-UI 的敏捷 Ontology DataOps 支持方案

此仓库是 Singer 的入门指南。

TypeScript ETL 工具包，用于索引来自 SQD Network 的 Ethereum、Solana 和 Substrate 数据。

使用 Go 编写的守护进程，可将 MongoDB 实时同步到 Elasticsearch。懂得都懂，为了搜索。

可在您自己的服务器或云端部署的开源 ETL/ELT。基于 DuckDB 打造：无代码/低代码可视化管道或 SQL、385 个组件、dbt、CDC、数据质量、反向 ETL、血缘追踪、供 AI 代理使用的 MCP。没有厂商云端，也没有按行计费。

PostgreSQL 17、16、15、14、13、12、11、10、9.6、9.5、9.4 (Postgres) 的逻辑复制扩展功能，提供比 Slony、Bucardo 或 Londiste 更快的复制速度，以及跨版本升级功能。

根据数据数组/字面对象即时建立 CSV 文件的 React 组件

omniparser：一个原生 Golang ETL 流式解析与转换库，支持 CSV、JSON、XML、EDI、文本等格式。

🌊 使用 Estuary 管理数据流，持续将数据所在的系统同步至你_希望_数据存在的系统。 🌊

使用 SQL Server 构建现代数据仓库的综合指南，包括 ETL 过程、数据建模和分析。

Sling 是一个命令列工具，用于从来源储存空间/数据库撷取数据并载入至目标储存空间/数据库。

Neum AI 是一套同级最佳的框架，用于大规模管理向量嵌入的创建与同步。

.NET 的 ETL 框架（支持 CSV、Flat、Xml、JSON、Key-Value、Parquet、Yaml、Avro 格式文件的解析器与写入器）

工作流程自动化引擎

为 .NET 开发者提供具备完整 ETL 功能的大量数据处理工具

Optimus 是一个易于使用、可靠且高性能的工作流协调器，用于数据转换、数据建模、管道与数据质量管理。

将包含 Windows 网络封包捕获的 .etl 文件转换为 .pcapng 格式的实用程序。

在网络上转换、查询与下载地理空间数据。

📄 ⚙️ 针对医学与科学论文的 ETL 流程

适用于 Elasticsearch 中 DataFrames、大数据、机器学习与 ETL 的 Python 客户端与工具包