llm-evaluation

🪢 開源 AI 工程平台：LLM 評估、可觀測性、指標、提示管理、遊樂場、資料集。整合 OpenTelemetry、LangChain、OpenAI SDK、LiteLLM 等。🍊YC W23

開源 AI 工程平台，支援代理、LLM 與機器學習模型。MLflow 讓各規模團隊能除錯、評估、監控與最佳化生產等級的 AI 應用，同時控制成本並管理模型與資料的存取。

測試你的提示、代理與檢索增強生成，進行 AI 紅隊/滲透測試/漏洞掃描。比較 GPT、Claude、Gemini、DeepSeek 等表現。使用簡潔宣告式設定，支援命令列與 CI/CD 整合。OpenAI 與 Anthropic 均有使用。

除錯、評估與監控您的 LLM 應用、RAG 系統與代理工作流程，提供完整追蹤、自動化評估與可投入生產的儀表板。

LLM 評估框架

AI 代理的獨立審計。由人類或代理自行執行，以回答 AI 代理經濟中最關鍵的問題：代理是否在執行其應有的任務？使用 iFixAi，您可在 120 秒內得到答案。

AI 可觀測性與評估

LLM 漏洞掃描器

非线智能 NoneLinear - ReLE评测：中文 AI 大模型能力评测（持续更新）：目前已囊括374个大模型，覆盖 chatgpt、gpt-5.4、谷歌 gemini-3.1-pro、Claude-4.6、文心 ERNIE-X1.1、ERNIE-5.0、qwen3.6-max、qwen3.6-plus、百川、讯飞星火、商汤 senseChat 等商用模型，以及 step3.5-flash、kimi-k2.6、ernie4.5、MiniMax-M2.7、deepseek-v4、Qwen3.6、llama4、智谱 GLM-5.1、MiMo-V2、LongCat、gemma4、mistral 等开源大模型。不仅提供排行榜，也提供规模超200万的大模型缺陷库！方便广大社区研究分析、改进大模型。

🧊 開源 LLM 可觀測平台，一行程式碼即可監控、評估與實驗

全棧 AI Red Teaming 平台，通過 Agent Scan、Skills Scan、MCP Scan、AI Infra Scan 以及 LLM jailbreak 評估來保護 AI 生態系統。

🐢 開源的 LLM 代理評估與測試函式庫

Agent OS：代理自行變得更聰明。我們只負責介面：等級指令與預期結果不會寫入成功合約。面試篩選、階段評估、預算演化迴圈。MCP 伺服器，支援 13 種執行環境：Claude Code、Codex CLI、Gemini CLI、OpenCode、Copilot、Kiro 等。

LLM 實務指南：從基礎到在 AWS 上部署先進 LLM 與 RAG 應用，採用 LLMOps 最佳實踐

AutoRAG：現在你的代理能在電腦中尋找任何東西，使用頻率越高越聰明

涵蓋文字、影像、影片與音訊任務的全能多模態評估工具包

一套科學方法、流程、演算法與系統，用於構建故事與模型

LLM 實驗與 AI 代理的評估與追蹤

Laminar - 專為 AI agent 打造的開源可觀測性平台。YC S24。

生成式 AI 的完整資源，包含詳細的路線圖、專案、使用案例、面試準備和程式碼練習。

Agentic LLM 漏洞掃描器 / AI 紅隊測試套件 🧪

開源的端到端平台，用於評估、觀察與改進 LLM 及 AI agent 應用程式。包含追蹤、評估、模擬、資料集、閘道器、安全護欄。支援自行架構。採用 Apache 2.0 授權。

使用 AI 模型建構、豐富與轉換資料集，全程無需程式碼

用於自動化 LLM 模糊測試的強大工具。旨在協助開發人員與安全性研究人員識別並減輕其 LLM API 中的潛在越獄問題。

Prompty 讓您能輕鬆為 AI 應用程式建立、管理、除錯及評估 LLM prompt。Prompty 是專為 LLM prompt 設計的資產類別與格式，旨在提升開發者的可觀測性、可理解性與可攜性。

[JMLR 2026] "UQLM：用於大型語言模型不確定性量化的 Python 套件"

針對 AI agents 的追蹤原生 CI/CD — 生產環境失敗轉化為阻擋 PR 的迴歸測試。自動偵測、分群、封裝為隔離案例，在 CI 中以 0 美元重播。

面向 Agent 的持續改進堆疊。我們的環境資料與評估為 Agent 的改進和監控提供動力。

具備高韌性工作流程、證據佐證 RAG、版本化報告與自動化品質評估的 AI 股票研究 Agent。

一個精選且無廢話的最佳 AI 代理建構與評估資源庫——論文、部落格、演講、工具、基準測試。由 BenchFlow 維護。