llm-observability

🪢 开源 AI 工程平台：LLM 评估、可观测性、指标、提示管理、游乐场、数据集。整合 OpenTelemetry、LangChain、OpenAI SDK、LiteLLM 等。🍊YC W23

调试、评估和监控您的 LLM 应用、RAG 系统与代理工作流，提供完整追踪、自动评估和可投入生产的仪表板。

基于开源 TypeScript AI Agent 框架的 AI 代理工程平台

最快的企业级 AI 网关（比 LiteLLM 快 50 倍），具备自适应负载均衡、集群模式、守护栏、支持 1000+ 模型，且在 5k RPS 时的额外延迟低于 100 µs。

将你的代理与 Harness 连接到任何提供者 🦚

🧊 开源 LLM 可观测平台，一行代码即可监控、评估与实验

下一代 AI 代理优化平台：Cozeloop 提供从开发、调试、评估到监控的全生命周期管理，解决 AI 代理开发挑战。

Latitude 是一个开源 AI 监控平台。

AI 可观测性平台，针对生产 LLM 与代理系统

代理技能作为记忆层

Laminar - 专为 AI agent 打造的开源可观测性平台。YC S24。

开源的端到端平台，用于评估、观察与改进 LLM 及 AI agent 应用程序。包含追踪、评估、模拟、数据集、网关、安全护栏。支持自行架设。采用 Apache 2.0 授权。

AI 代理框架的可观测性与执行强制。通过策略强制捕获每次运行与运行时可靠性。内置 40 种策略、本地仪表板，无需账户并提供慷慨的免费云端方案

针对 AI agents 的追踪原生 CI/CD — 生产环境失败转化为阻挡 PR 的回归测试。自动检测、分群、封装为隔离案例，在 CI 中以 0 美元重放。

面向 Agent 的持续改进栈。我们的环境数据与评估为 Agent 的改进和监控提供动力。

TraceRoot - 用于 AI 代理的开源可观测性与自我改进层。YC S25

🦞 OpenClaw 的官方插件，可将 agent 追踪记录导出至 Opik。检视并监控 agent 的行为、成本、token、错误等信息。

Databuff 是一个开源、AI 原生、OpenTelemetry 原生的 APM 工具，提供跨追踪、指标和服务拓扑的多代理根本原因分析

Self-hosted AI Agents Platform supporting Claude Code, Codex, Gemini agents. Apache 2.0.