evaluation-framework

测试你的提示、代理与检索增强生成，进行 AI 红队/渗透测试/漏洞扫描。比较 GPT、Claude、Gemini、DeepSeek 等表现。使用简洁声明式配置，支持命令行与 CI/CD 集成。OpenAI 与 Anthropic 均有使用。

LLM 评估框架

用于少样本评估语言模型的框架

构建、评估与优化 AI 系统。包含评估、RAG、代理、微调、合成数据生成、数据集管理、MCP 等。

Lighteval 是您跨多种后端评估 LLM 的全方位工具包

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: 评估 AI 的最新技术水平

开源的端到端平台，用于评估、观察与改进 LLM 及 AI agent 应用程序。包含追踪、评估、模拟、数据集、网关、安全护栏。支持自行架设。采用 Apache 2.0 授权。

AI Agents 终极指南仓库

AgentLab：一个用于在各种任务上开发、测试与评测 web agent 的开源框架，专为可扩展性与可复现性而设计。

基于 LLM 应用程序的数据驱动评估