pipeline

cubestudio 開源雲原生一站式機器學習/深度學習/大模型 AI 平台/MaaS/mlops/人工智慧平台/訓推平台，演算法全鏈路流程，多租戶，算力租賃平台，token 中轉，拖拉拽任務流 pipeline 編排，多機多卡分散式訓練，超參搜尋，推論服務，VGPU 虛擬化，雲邊端協同，邊緣運算，自動化標註平台，deepseek 等大模型 sft 微調/獎勵模型/強化學習訓練，vllm/ollama/mindie 大模型多機推論，私有知識庫 llmops 智能體，AI 模型市場，支援國產異構算力調度,昇騰/寒武紀/海光/摩爾/沐曦等，支援 ib/roce/RDMA，信創支援

透過鏈式函數編程建立資料管線的 Python 函式庫

🔮 Instill Core 是一個全端 AI 基礎設施工具，用於資料、模型和管線編排，旨在簡化建構多功能 AI 優先應用程式的每一個環節

一個通用的、無三方依賴的、跨平台的、收錄於 awesome-cpp 的、基於流圖的平行計算框架。歡迎 star & fork & 交流

單一 C++ 二進位檔中速度最快的統一串流 SQL 引擎。⚡ 毫秒級延遲。100+ GB/s 吞吐量。持續從串流、日誌、指標、事件與 CDC 中計算即時上下文。

一個用於 Go 的輕量級串流處理函式庫

一個 Julia 機器學習框架

XLS：加速硬體合成

人人可用的數據密集型科學。

用於實現乾淨、可組合、基於 channel 的併發機制的 Go 工具包

用於快速研發原型與 Kaggle 競賽的 PyTorch 擴充套件

Hop 編排平台

一個用於終端機/主控台的即時繪圖工具，支援來自標準輸入的資料輸入

使用 STAR、RSEM、HISAT2 或 Salmon 的 RNA 定序分析管線，提供基因/異構型計數與廣泛的品質控制。

一個專注於 R 語言、用於重現性與高效能運算的管線工具組

採用 Rust 建立的高效能、模組化、記憶體安全且可直接用於生產環境的推理、擷取和索引工具 🦀

蓝鲸智云标准运维(SOPS)

一個具有極低記憶體佔用的串流元件微型函式庫，用於建構自訂的 JSON 與 JSONC 處理管線 — 在 Node.js 或 Web Streams 上，透過受 SAX 啟發的 Token API 來解析、過濾和轉換遠大於可用記憶體的 JSON。

用於平行執行作業的跨平台命令列工具

使用 Go 與命令列建構強固、靈活且資源效率高的管線

適用於 R 的函數導向、類似 Make 的宣告式工作流。

一個開源的 ML pipeline 開發平台

微型自動化管線。將 CI/CD 引入最小型的專案。自架、輕量、純命令列。

Tekton 儀表板！

支援易用工作流引擎的 WDL、CWL 與 Python API。具備可擴展、高效且跨平台（Linux/macOS）的特點。

一個靈活、高效能的機器學習模型載體（『飛槳』服務化部署框架）

Neum AI 是一套同級最佳的框架，可用於大規模管理向量嵌入的建立與同步。

用於可組合 AI 工作流程的宣告式語言。專為 Agent 與普通人類設計的開發工具。

🪿 LinGoose 是一個用於建構優秀 AI/LLM 應用程式的 Go 框架。

Plumber 可偵測 GitHub workflows 中的 CI/CD 安全問題並給予評分