evaluation

ファインチューニングを使用してRAGタスク向けLLMを強化するためのフレームワーク。

[EMNLP 2024 & AAAI 2026] LLM、VLM、動画生成モデルなどの大規模モデルを圧縮するための強力なツールキット

🦞 エージェントのトレースをOpikにエクスポートするOpenClaw公式プラグイン。エージェントの動作、コスト、トークン、エラーなどを確認・監視できます。

IOU Tracker の Python 実装

⚡️ランキング評価、比較、融合のための超高速なPythonライブラリ 🐍

大規模言語モデルにおける長文の事実性のベンチマーク。論文「Long-form factuality in large language models」のオリジナルコード。

日常タスクにおけるブラウザ AI エージェントのオープンソースベンチマーク。

Awesome-LLM-Eval: LLMの評価に特化したツール、データセット/ベンチマーク、デモ、リーダーボード、論文、ドキュメント、モデルの厳選リスト。

AutoPrompt: マスク言語モデルのための自動プロンプト構築

[ICML 2024] TrustLLM: 大規模言語モデルにおける信頼性

1つのC#ファイルで実装された、シンプルな数式および疑似C#式の評価器。小さなC#風スクリプトの実行も可能

大規模言語モデルにおける機械アンラーニング（Machine Unlearning）のリポジトリ

TCExamは、大学、学校、企業向けのCBA（コンピュータベースドテスト）システム（e試験、CBT）であり、教育者やトレーナーがアンケート、クイズ、小テスト、試験を作成、スケジュール、実施、レポート作成できるようにします。

Python向けのシンプルで安全、サンドボックス化された拡張可能な式評価エンジン

一対の画像から画像マッチングを実行するさまざまな手法を評価するためのツールボックスリポジトリ

論文「MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI」の評価コードを含むリポジトリ

質問と SQL クエリをペアにしたデータセットのコレクション

ParseBench - AI エージェントのためのドキュメント解析ベンチマーク

Meta Agents Research Environments は、動的かつ現実的なシナリオで AI エージェントを評価するために設計された包括的なプラットフォームです。静的なベンチマークとは異なり、このプラットフォームは、新しい情報が利用可能になるにつれてエージェントが戦略を適応させなければならない進化する環境を導入し、現実世界の課題を反映しています。

社内文書におけるRAGのためのデータセットとベンチマーク。