pipeline

cubestudio 开源云原生一站式机器学习/深度学习/大模型AI平台/MaaS/mlops/人工智能平台/训推平台，算法全链路流程，多租户，算力租赁平台，token中转，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务，VGPU虚拟化，云边端协同，边缘计算，自动化标注平台，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库llmops智能体，AI模型市场，支持国产异构算力调度,昇腾/寒武纪/海光/摩尔/沐曦等，支持ib/roce/RDMA，信创支持

通过链式函数编程建立数据管线的 Python 库

🔮 Instill Core 是一个全端 AI 基础设施工具，用于数据、模型和管道编排，旨在简化构建多功能 AI 优先应用程序的每一个环节

一个通用的、无三方依赖的、跨平台的、收录于 awesome-cpp 的、基于流图的并行计算框架。欢迎 star & fork & 交流

单一 C++ 二进制文件中速度最快的统一流式 SQL 引擎。⚡ 毫秒级延迟。100+ GB/s 吞吐量。持续从流、日志、指标、事件与 CDC 中计算实时上下文。

一个用于 Go 的轻量级流处理库

一个 Julia 机器学习框架

XLS：加速硬件综合

人人可用的数据密集型科学。

用于实现干净、可组合、基于 channel 的并发机制的 Go 工具包

用于快速研发原型与 Kaggle 竞赛的 PyTorch 扩展程序

Hop 编排平台

一个用于终端/控制台的实时绘图工具，支持来自标准输入的资料输入

使用 STAR、RSEM、HISAT2 或 Salmon 的 RNA 测序分析管线，提供基因/异构型计数与广泛的质量控制。

一个专注于 R 语言、用于可重复性与高性能计算的管道工具组

采用 Rust 构建的高性能、模块化、内存安全且生产就绪的推理、摄取和索引工具 🦀

蓝鲸智云标准运维(SOPS)

一个具有极低内存占用的流组件微型库，用于构建自定义的 JSON 与 JSONC 处理管道 — 在 Node.js 或 Web Streams 上，通过受 SAX 启发的 Token API 来解析、过滤和转换远大于可用内存的 JSON。

用于并行执行作业的跨平台命令行工具

使用 Go 与命令行构建强固、灵活且资源效率高的管道

适用于 R 的函数导向、类似 Make 的声明式工作流。

一个开源的 ML pipeline 开发平台

微型自动化管线。将 CI/CD 引入最小型的项目。自建、轻量、纯命令行。

Tekton 仪表板！

支持易用工作流引擎的 WDL、CWL 与 Python API。具备可扩展、高效且跨平台（Linux/macOS）的特点。

一个灵活、高性能的机器学习模型载体（『飞桨』服务化部署框架）

Neum AI 是一套同级最佳的框架，用于大规模管理向量嵌入的创建与同步。

用于可组合 AI 工作流的声明式语言。专为 Agent 与普通人类设计的开发工具。

🪿 LinGoose 是一个用于构建优秀 AI/LLM 应用程序的 Go 框架。

Plumber 可检测 GitHub workflows 中的 CI/CD 安全问题并给予评分