data-pipelines

用于流处理、实时分析、LLM 管道与 RAG 的 Python ETL 框架。

Apache Airflow - 一个以程序方式编写、调度与监控工作流的平台

用于数据资产开发、部署与观测的编排平台

将文件轻松转换为结构化数据。Unstructured 是开源 ETL 解决方案，可将复杂文档转换为干净的结构化格式供语言模型使用。访问我们网站了解企业级平台产品，支持生产级工作流、分割、增强、切块与嵌入。

Apache DolphinScheduler 是现代化的数据编排平台，低代码即可创建高性能工作流。

Kedro 是一套适用于生产环境的数据科学工具箱。它采用软件工程最佳实践，帮助创建可重现、可维护且模块化的数据工程和数据科学流水线。

🧙 构建、运行与管理数据管道，用于数据集成与转换

使用最新 LLM 为基础的算子与管线，轻松进行数据前处理

🦀 事件流处理，协助开发者收集并转换流动数据，打造响应式数据密集型应用。

Preswald 是一个针对 Python 交互式数据应用的 WASM 打包工具：将完整复杂的数据工作流程，尤其是可视化，打包成单一文件，完全在浏览器运行，使用 Pyodide、DuckDB、Pandas、Plotly、Matplotlib 等。构建可离线运行、快速加载、如文件般分享的仪表板、报告与笔记本。

基于 LLM 的代理式数据处理与 ETL 系统

Maestro：Netflix 的工作流协调器

Meltano：声明式、代码优先的数据集成引擎，助力实现您最狂野的数据与 ML 驱动产品创意。告别编写、维护和扩展您自己的 API 集成。

专为数据与分析工程师打造的 dbt 原生数据可观测性解决方案。几分钟内即可监控您的数据管道。提供具备高级功能的自托管部署或云服务。

Feldera 增量计算引擎

学习数据工程的最佳去处。由数据工程社群建立与维护。

快速且高效的非结构化数据提取。以 Rust 编写，并提供多种语言的绑定。

使用 SQL 与 Python 建立数据管道、从不同来源摄取数据、加入质量检查，并构建端到端流程。

MLeap：将 ML Pipelines 部署至生产环境

让并行 Python 变得简单

首个开源的数据发现与可观测性平台。我们让数据从业者轻松工作，以便您专注于业务。

一个全方位的 Python 包模板，用于快速启动并标准化您的 MLOps 计划与数据管道。

由 python 驱动的可视化数据准备工具

Optimus 是一个易于使用、可靠且高性能的工作流协调器，用于数据转换、数据建模、管道与数据质量管理。

此 dbt 套件可撷取元数据、产出物与测试结果，协助你侦测异常、监控数据质量并建立元数据表。它为 Elementary OSS 提供支援，并为 Elementary Cloud 的完整数据与 AI 控制平面提供更广泛的情境层。