llmops

Superduper：端到端框架，用於構建自訂 AI 應用與代理

LLM 實務指南：從基礎到在 AWS 上部署先進 LLM 與 RAG 應用，採用 LLMOps 最佳實踐

cube studio 開源雲原生一站式機器學習/深度學習/大模型 AI 平台，mlops 算法鏈路全流程，算力租賃平台，notebook 在線開發，拖拉拽任務流 pipeline 編排，多機多卡分布式訓練，超參數搜索，推理服務 VGPU 虛擬化，邊緣計算，標註平台自動化標註，deepseek 等大模型 sft 微調/獎勵模型/強化學習訓練，vllm/ollama/mindie 大模型多機推理，私有知識庫，AI 模型市場，支援國產 CPU/GPU/NPU 昇騰生態，支援 RDMA，支援 pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano 等分布式

透過單一 YAML 微調 LLM。層串流訓練可在 4 GB 筆電 GPU 上執行 8B 模型。

🤖 𝗟𝗲𝗮𝗿𝗻 for 𝗳𝗿𝗲𝗲 how to 𝗯𝘂𝗶𝗹𝗱 an end-to-end 𝗽𝗿𝗼𝗱𝘂𝗰𝘁𝗶𝗼𝗻-𝗿𝗲𝗮𝗱𝘆 𝗟𝗟𝗠 & 𝗥𝗔𝗚 𝘀𝘆𝘀𝘁𝗲𝗺 using 𝗟𝗟𝗠𝗢𝗽𝘀 best practices: ~ 𝘴𝘰𝘶𝘳𝘤𝘦 𝘤𝘰𝘥𝘦 + 12 𝘩𝘢𝘯𝘥𝘴-𝘰𝘯 𝘭𝘦𝘴𝘴𝘰𝘯𝘴

可擴展至數千個微調LLM的Multi-LoRA推理伺服器

代理技能作為記憶層

LLM 實驗與 AI 代理的評估與追蹤

LLM 評估與 AI 代理測試的平台

🕹️ 開源、開發者優先的 LLMOps 平台，旨在簡化提示詞設計、版本管理、即時交付、協作、疑難排解、可觀測性等。

Laminar - 專為 AI agent 打造的開源可觀測性平台。YC S24。

AGiXT 是一個動態 AI Agent 自動化平台，可跨多個 AI 提供商無縫協調指令管理與複雜任務執行。結合自適應記憶、智慧功能與多功能外掛系統，AGiXT 提供高效且全面的 AI 解決方案。

学习使用 LLM、代理、RAG、微调、LLMOps 与 AI 系统技术构建你的第二大脑 AI 助手

一個開源的視覺化程式設計環境，用於對 LLM 進行對戰測試提示。

將昂貴的提示詞轉化為廉價的微調模型

社群維護的 vLLM on Ascend 硬體外掛程式

AI 工程開源平台：原生支援 OpenTelemetry 的 LLM 可觀測性、GPU 監控、護欄（Guardrails）、評估、提示詞管理、保險箱（Vault）、遊樂場（Playground）。🚀💻 整合超過 50 種 LLM 提供商、向量資料庫（VectorDB）、Agent 框架與 GPU。

Apache Hamilton 幫助資料科學家和工程師定義可測試、模組化、自文件化的資料流，並編碼血緣/追蹤與詮釋資料。可在任何 Python 執行的環境中執行與擴展。

建構能做決定的應用程式（聊天機器人、agent、模擬等）。在您自己的基礎設施上進行監控、追蹤、持久化與執行。

cubestudio 開源雲原生一站式機器學習/深度學習/大模型 AI 平台/MaaS/mlops/人工智慧平台/訓推平台，演算法全鏈路流程，多租戶，算力租賃平台，token 中轉，拖拉拽任務流 pipeline 編排，多機多卡分散式訓練，超參搜尋，推論服務，VGPU 虛擬化，雲邊端協同，邊緣運算，自動化標註平台，deepseek 等大模型 sft 微調/獎勵模型/強化學習訓練，vllm/ollama/mindie 大模型多機推論，私有知識庫 llmops 智能體，AI 模型市場，支援國產異構算力調度,昇騰/寒武紀/海光/摩爾/沐曦等，支援 ib/roce/RDMA，信創支援

UpTrain 是一個開源的統一平台，用於評估和改善生成式 AI 應用程式。我們提供 20 多項預先設定檢查的評分（涵蓋語言、程式碼、嵌入使用案例），對失敗案例執行根本原因分析，並提供如何解決這些問題的見解。

Bionic 是企業專屬的自主 AI——可在地端執行的類 ChatGPT AI，能安全地處理您的機敏資料與系統。

🤖 來自未來的自我修改框架 🔮 世界首創的 AMS

無程式碼多 Agent 框架，利用您的資料建置 LLM Agent、工作流程與應用程式

🏕️ 適用於人類與 agents 的可重現開發環境

統一的 MCP 伺服器管理應用程式 (MCP Manager)。

AICI：將提示詞作為 (Wasm) 程式

開源的端到端平台，用於評估、觀察與改進 LLM 及 AI agent 應用程式。包含追蹤、評估、模擬、資料集、閘道器、安全護欄。支援自行架構。採用 Apache 2.0 授權。

在 Postgres 中可擴展、快速且對磁碟友善的向量搜尋，pgvecto.rs 的後繼者。

開源的 LLM/VLM 負載平衡與服務平台，可用於大規模自架 LLM（與 VLM）🏓🦙。為 llm-d、Docker Model Runner 等專案的替代方案，但組件更少、部署更簡單，並圍繞 ggml 生態系建構。支援 CPU 與 GPU 執行。