evals

Mastra 是用于 AI 驱动应用与代理的现代 TypeScript 框架

AI 可观测性与评估

Python SDK，用于 AI 代理监控、LLM 成本追踪、基准测试等，集成多数 LLM 和代理框架，包括 CrewAI、Agno、OpenAI Agents SDK、Langchain、Autogen、AG2、CamelAI

构建、评估与优化 AI 系统。包含评估、RAG、代理、微调、合成数据生成、数据集管理、MCP 等。

评估与改进代理的框架。

AI 可观测性平台，针对生产 LLM 与代理系统

LLM 实验与 AI 代理的评估与追踪

Laminar - 专为 AI agent 打造的开源可观测性平台。YC S24。

专为构建生产环境 AI 系统与评估（evals）的工程师设计的 AI 系统设计指南。

将任何工作流程转化为可在 17 个平台上安装的可复用 AI 智能体技能 — Claude Code、Copilot、Cursor、Windsurf、Codex、Gemini、Kiro 等。一个 SKILL.md，适用所有平台。

用于对话、检查和调试 MCP servers、MCP apps 与 ChatGPT apps 的测试与评估平台。

AI 代理框架的可观测性与执行强制。通过策略强制捕获每次运行与运行时可靠性。内置 40 种策略、本地仪表板，无需账户并提供慷慨的免费云端方案

使用 TypeScript 评估您的 LLM 驱动应用程序

Waku Waku！Waku Agent 是一个由您真正拥有的本地优先 AI Agent 框架，包含循环、记忆与评估，所有代码均以易读性为核心构建，随项目成长仍保持清晰。

具备内置评估与监控功能的开源生产就绪客服系统

🥤 RAGLite 是一个搭配 DuckDB 或 PostgreSQL 使用的 Python 检索增强生成（RAG）工具包。

针对 AI agents 的追踪原生 CI/CD — 生产环境失败转化为阻挡 PR 的回归测试。自动检测、分群、封装为隔离案例，在 CI 中以 0 美元重放。

构建 Agentic 系统并自信地运行。编排 Agent、自动化业务流程、检查每次执行，并保持人类掌控。将 Heym 部署在您自己的基础设施上。

Low-level agentic design patterns. Turning old engineering wisdom into reflexes your agent reaches for on its own—on any agent.

一个能证明自身技能运作正常的技能构建器。为 Claude Code 与 Codex 提供证据驱动的技能构建：基准测试生成、各技能回归评估、生态系统检查、跨运行时编译，以及选用的主动式建议工具。

一个精选且无废话的最佳 AI 代理构建与评估资源库——论文、博客、演讲、工具、基准测试。由 BenchFlow 维护。

Hands-on, framework-free Colab notebooks for the AI Engineer / Forward Deployed Engineer (FDE) skill set — model APIs, structured output, tool calling, RAG, evals-as-the-spine, agents (loop from scratch, tool design, guardrails, MCP, Skills), fine-tuning vs LoRA, prompt-injection/security, LLMOps, and customer craft. Runs on the free Groq API.