evals

Mastra 是用於 AI 驅動應用與代理的現代 TypeScript 框架

AI 可觀測性與評估

Python SDK，用於 AI 代理監控、LLM 成本追蹤、效能基準測試等，支援多數 LLM 與代理框架，包括 CrewAI、Agno、OpenAI Agents SDK、Langchain、Autogen、AG2、CamelAI

構建、評估與優化 AI 系統。包含評估、RAG、代理、微調、合成數據生成、資料集管理、MCP 等。

評估與改進代理的框架。

AI 可觀測性平台，針對生產 LLM 與代理系統

LLM 實驗與 AI 代理的評估與追蹤

Laminar - 專為 AI agent 打造的開源可觀測性平台。YC S24。

專為建構生產環境 AI 系統與評估（evals）的工程師設計的 AI 系統設計指南。

將任何工作流程轉化為可在 17 個平台上安裝的重複使用式 AI 代理技能 — Claude Code、Copilot、Cursor、Windsurf、Codex、Gemini、Kiro 等。一個 SKILL.md，適用所有平台。

用於對話、檢查和偵錯 MCP servers、MCP apps 與 ChatGPT apps 的測試與評估平台。

AI 代理框架的可觀測性與執行強制。透過策略強制捕獲每次執行與執行階段可靠性。內建 40 種策略、本地儀表板，無需帳戶並提供大方的免費雲端方案

使用 TypeScript 評估您的 LLM 驅動應用程式

Waku Waku！Waku Agent 是一個由您真正擁有的本地優先 AI Agent 框架，包含迴圈、記憶與評估，所有程式碼皆以易讀性為核心構建，隨專案成長仍保持清晰。

具備內建評估與監控功能的開源生產就緒客服系統

🥤 RAGLite 是一個搭配 DuckDB 或 PostgreSQL 使用的 Python 檢索增強生成（RAG）工具包。

針對 AI agents 的追蹤原生 CI/CD — 生產環境失敗轉化為阻擋 PR 的迴歸測試。自動偵測、分群、封裝為隔離案例，在 CI 中以 0 美元重播。

建置 Agentic 系統並自信地執行。編排 Agent、自動化業務流程、檢查每次執行，並保持人類控制。將 Heym 部署在您自己的基礎設施上。

Low-level agentic design patterns. Turning old engineering wisdom into reflexes your agent reaches for on its own—on any agent.

一個能證明自身技能運作正常的技能建立器。為 Claude Code 與 Codex 提供證據驅動的技能建立：基準測試生成、各技能迴歸評估、生態系統檢查、跨執行階段編譯，以及選用的主動式建議工具。

一個精選且無廢話的最佳 AI 代理建構與評估資源庫——論文、部落格、演講、工具、基準測試。由 BenchFlow 維護。

Hands-on, framework-free Colab notebooks for the AI Engineer / Forward Deployed Engineer (FDE) skill set — model APIs, structured output, tool calling, RAG, evals-as-the-spine, agents (loop from scratch, tool design, guardrails, MCP, Skills), fine-tuning vs LoRA, prompt-injection/security, LLMOps, and customer craft. Runs on the free Groq API.