evaluation

使用微調增強 LLM 以執行 RAG 任務的框架。

[EMNLP 2024 & AAAI 2026] 一個強大的大型模型壓縮工具包，包含 LLM、VLM 及影片生成模型。

🦞 OpenClaw 的官方插件，可將 agent 追蹤記錄匯出至 Opik。檢視並監控 agent 的行為、成本、token、錯誤等資訊。

IOU Tracker 的 Python 實作

⚡️ 用於排序評估、比較與融合的極速 Python 函式庫 🐍

評測大型語言模型中的長文本事實準確性。我們論文「Long-form factuality in large language models」的原始程式碼。

用於瀏覽器 AI 代理日常任務的開源基準測試

Awesome-LLM-Eval：精選的工具、資料集/基準測試、展示、排行榜、論文、文件與模型清單，主要用於 LLM 評估。一個由工具、基準/數據、演示、排行榜和大模型等組成的精選列表，主要面向基礎大模型評測，旨在探求生成式AI的技術邊界。

AutoPrompt：針對遮罩語言模型的自動提示詞建構。

[ICML 2024] TrustLLM：大型語言模型的信任度

單一 C# 檔案中的簡單數學與偽 C# 表達式求值器。亦可執行類似 C# 的小型指令碼

大型語言模型機器遺忘（machine unlearning）資源庫

TCExam 是一個適用於大學、學校和企業的電腦化評量系統（電子考試、CBT），讓教育工作者與培訓師能夠建立、排程、執行並報告調查、測驗、測試與考試。

適用於 Python 的簡單、安全、沙箱化、可擴充的表達式評估器

這是一個工具箱儲存庫，用於協助評估從一對圖像進行圖像匹配的各種方法。

此儲存庫包含論文「MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI」的評估程式碼

包含問題與 SQL 查詢配對的資料集集合

ParseBench - 用於 AI Agent 的文件解析基準測試。

Meta Agents Research Environments 是一個綜合平台，旨在評估動態、真實場景中的 AI 代理。與靜態基準測試不同，此平台引入了不斷演進的環境，代理必須隨著新資訊的出現調整策略，以反映現實世界的挑戰。

針對公司內部文件進行 RAG 的資料集與基準測試。