data-ingestion

SeaTunnel 是一款多模式、高性能、分布式、大规模数据集成工具。

ingestr 是一个 CLI 工具，能用单一命令无缝复制任何数据库之间的数据

Apache Paimon 是一种湖泊格式，能与 Flink 与 Spark 一同构建实时湖屋架构，支持流式与批处理

使用 Elixir 进行并发与多阶段的数据摄取与数据处理

Pravega - 作为全新软件定义存储原语的流系统

使用 SQL 与 Python 建立数据管道、从不同来源摄取数据、加入质量检查，并构建端到端流程。

在 PostgreSQL 内部与 S3、Azure Blob Storage、Google Cloud Storage、http(s) 存储空间、本地文件或标准输入输出流之间进行 Parquet 复制

AI 时代的 Supabase。一个模块化、开源的后端，用于构建 AI 原生软件——专为知识而非静态数据设计。