llm-observability

🪢 開源 AI 工程平台：LLM 評估、可觀測性、指標、提示管理、遊樂場、資料集。整合 OpenTelemetry、LangChain、OpenAI SDK、LiteLLM 等。🍊YC W23

除錯、評估與監控您的 LLM 應用、RAG 系統與代理工作流程，提供完整追蹤、自動化評估與可投入生產的儀表板。

基於開源 TypeScript AI Agent 框架的 AI 代理工程平台

最快的企業級 AI 閘道（比 LiteLLM 快 50 倍），具備自適應負載平衡、叢集模式、守護欄、支援 1000+ 模型，且在 5k RPS 時的額外延遲低於 100 µs。

將你的代理與 Harness 連接至任何提供者 🦚

🧊 開源 LLM 可觀測平台，一行程式碼即可監控、評估與實驗

下一代 AI 代理優化平台：Cozeloop 提供從開發、除錯、評估到監控的全生命週期管理，解決 AI 代理開發挑戰。

Latitude 是一個開源 AI 監控平台。

AI 可觀測性平台，針對生產 LLM 與代理系統

代理技能作為記憶層

Laminar - 專為 AI agent 打造的開源可觀測性平台。YC S24。

開源的端到端平台，用於評估、觀察與改進 LLM 及 AI agent 應用程式。包含追蹤、評估、模擬、資料集、閘道器、安全護欄。支援自行架構。採用 Apache 2.0 授權。

AI 代理框架的可觀測性與執行強制。透過策略強制捕獲每次執行與執行階段可靠性。內建 40 種策略、本地儀表板，無需帳戶並提供大方的免費雲端方案

針對 AI agents 的追蹤原生 CI/CD — 生產環境失敗轉化為阻擋 PR 的迴歸測試。自動偵測、分群、封裝為隔離案例，在 CI 中以 0 美元重播。

面向 Agent 的持續改進堆疊。我們的環境資料與評估為 Agent 的改進和監控提供動力。

TraceRoot - 用於 AI 代理的開源可觀測性與自我改進層。YC S25

🦞 OpenClaw 的官方插件，可將 agent 追蹤記錄匯出至 Opik。檢視並監控 agent 的行為、成本、token、錯誤等資訊。

Databuff 是一個開源、AI 原生、OpenTelemetry 原生的 APM 工具，提供跨追蹤、指標和服務拓樸的多代理根本原因分析

Self-hosted AI Agents Platform supporting Claude Code, Codex, Gemini agents. Apache 2.0.