data-integration

Apache Airflow - 一个以程序方式编写、调度与监控工作流的平台

开源数据搬移工具，用于 ELT 流程与 AI 代理——支持 API、数据库与文件至数据仓库、数据湖与 AI 应用，提供自托管与云端方案

将数据与 AI 算法快速转换为可投入生产的 Web 应用程序

用于数据资产开发、部署与观测的编排平台

SeaTunnel 是一款多模式、高性能、分布式、大规模数据集成工具。

🧙 构建、运行与管理数据管道，用于数据集成与转换

用于云配置与安全数据的数据管道。构建云资产清单、CSPM、FinOps 与漏洞管理解决方案。从 AWS、Azure、GCP 及 70 多个云与 SaaS 来源提取数据

Flink CDC 是一个流式数据集成工具

大数据上的上插、删除与增量处理

🦀 事件流处理，协助开发者收集并转换流动数据，打造响应式数据密集型应用。

Jitsu 是一个开源的 Segment 替代方案。完全可脚本化的数据摄取引擎，适用于现代数据团队。几分钟内即可设置实时数据管道，而非数天。

数据存取与运营智慧的交汇点

以隐私与安全为核心的 Segment 替代方案，使用 Golang 与 React 开发。

数据整合框架

ingestr 是一个 CLI 工具，能用单一命令无缝复制任何数据库之间的数据

社区策划的单细胞软件包与数据资源清单，包括RNA-seq、ATAC-seq等

Apache DevLake 是一个开源的开发数据平台，用于收集、分析和可视化来自 DevOps 工具的碎片化数据，从中提取洞察以提升工程卓越性、开发者体验和社区成长。

superglue (YC W25) 从自然语言构建集成与工具。为长尾与企业系统获取生产级的工具。

Hop 编排平台

一个快速且多功能的 ETL 工具，可在 RDBMS 与 NoSQL 之间无缝传输数据

可在您自己的服务器或云端部署的开源 ETL/ELT。基于 DuckDB 打造：无代码/低代码可视化管道或 SQL、385 个组件、dbt、CDC、数据质量、反向 ETL、血缘追踪、供 AI 代理使用的 MCP。没有厂商云端，也没有按行计费。

关于知识图谱的深入教程与论文

🌊 使用 Estuary 管理数据流，持续将数据所在的系统同步至你_希望_数据存在的系统。 🌊

SeaTunnel 是一个分布式、高性能的数据集成平台，用于海量数据（离线与实时）的同步与转换。

持续更新的数据代理（Data Agents）进展论文列表。与我们的论文“A Survey of Data Agents: Emerging Paradigm or Overstated Hype?”配套的存储库。

NicheNet：预测相互作用细胞之间的活跃配体-靶标链接

使用 Harmony 进行快速、灵敏且准确的单细胞数据整合

Conduit 在数据存储库之间串流数据。Kafka Connect 的替代品。不需要 JVM。

精选的开源工具清单，用于分析平台与数据工程生态系统

汇总 Apache Hudi 相关资料