llmops

即用型雲端範本，支援 RAG、AI 流程與企業搜尋即時資料。🐳相容 Docker。⚡持續與 Sharepoint、Google Drive、S3、Kafka、PostgreSQL、即時資料 API 等同步。

最快、最輕量的 AI 閘道。Rust 核心搭配 Python SDK。以 OpenAI（或原生）格式呼叫超過 100 種 LLM API，具成本追蹤、保護機制、負載平衡與日誌功能 [Bedrock、Azure、OpenAI、Anthropic、OpenAI、VertexAI、vLLM、Nvidia NIM]

🪢 開源 AI 工程平台：LLM 評估、可觀測性、指標、提示管理、遊樂場、資料集。整合 OpenTelemetry、LangChain、OpenAI SDK、LiteLLM 等。🍊YC W23

Composio 提供 1000+ 工具套件、工具搜尋、上下文管理、驗證與沙盒工作台，協助打造將意圖轉為行動的 AI 代理。

開源 AI 工程平台，支援代理、LLM 與機器學習模型。MLflow 讓各規模團隊能除錯、評估、監控與最佳化生產等級的 AI 應用，同時控制成本並管理模型與資料的存取。

本項目旨在分享大模型相關技術原理以及實戰經驗（大模型工程化、大模型應用落地）

測試你的提示、代理與檢索增強生成，進行 AI 紅隊/滲透測試/漏洞掃描。比較 GPT、Claude、Gemini、DeepSeek 等表現。使用簡潔宣告式設定，支援命令列與 CI/CD 整合。OpenAI 與 Anthropic 均有使用。

☁️ 使用雲原生堆疊構建多模態 AI 應用

除錯、評估與監控您的 LLM 應用、RAG 系統與代理工作流程，提供完整追蹤、自動化評估與可投入生產的儀表板。

<⚡️> SuperAGI - 以開發者為先的開源自主 AI 代理框架。讓開發者快速且可靠地建構、管理與執行實用的自主代理。

Agent AI 可觀測性、監控與評估框架的 Python SDK。功能包括代理、LLM 與工具追蹤、除錯多代理系統、自託管儀表板以及具時間線與執行圖檢視的進階分析

為你的 LLM 應用評估加速 🚀

高速 AI 閘道，內建安全防護。支援 1,600 多種大型語言模型與 50 多項 AI 防護，提供快速友好的 API

在雲端將任何開源 LLM（如 DeepSeek、Llama）作為兼容 OpenAI 的 API 端點運行。

BISHENG 是一個開源 LLM DevOps 平台，支援下一代企業 AI 應用。功能包括：GenAI 工作流、RAG、Agent、統一模型管理、評估、SFT、資料集管理、企業級系統管理、可觀測性等。

AI 可觀測性與評估

建置、管理與部署 AI/ML 系統

最簡便的 AI 應用與模型服務方式 ─ 建立模型推論 API、工作佇列、LLM 應用、多模型流水線等

⚙️🦀 用 Rust 建構模組化且可擴充的 LLM 應用程式

Evidently 是一個開源 ML 與 LLM 可觀測性框架。評估、測試並監控任何 AI 驅動的系統或資料管道。從表格資料到 Gen AI。100+ 指標。

最快的企業級 AI 閘道（比 LiteLLM 快 50 倍），具備自適應負載平衡、叢集模式、守護欄、支援 1000+ 模型，且在 5k RPS 時的額外延遲低於 100 µs。

為你的 GenAI 或 LLM 應用提供開源可觀測性，基於 OpenTelemetry

Plano 是一個 AI 原生代理伺服器與資料平面，為代理應用提供智能 LLM 路由、可觀測性、代理編排與安全防護，讓你專注於核心邏輯

ClearML - 自動化 CI/CD，簡化 AI 工作負載。提供實驗管理、資料管理、管線、編排、排程與服務，一站式 MLOps/LLMOps 解決方案

將 AI 代理部署到 Google Cloud，只需數分鐘，而非數月。提供內建 CI/CD、評估與可觀測性的即用範本

🧊 開源 LLM 可觀測平台，一行程式碼即可監控、評估與實驗

一份優質且精心挑選的 LLMOps 工具清單，供開發者參考

🐢 開源的 LLM 代理評估與測試函式庫

下一代 AI 代理優化平台：Cozeloop 提供從開發、除錯、評估到監控的全生命週期管理，解決 AI 代理開發挑戰。

ZenML：從管道到代理的一站式 AI 平台 https://zenml.io