evaluation

Open LLM Leaderboard の管理や lighteval の設計を通じて得た、LLM 評価に関する実践的な知見と理論的知識の共有

Avalanche: PyTorch ベースの継続学習向けエンドツーエンドライブラリ

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: AI の最先端技術の評価

指示追従型言語モデルのための自動評価ツール。人間による検証済み、高品質、低コスト、高速。

(IROS 2020, ECCVW 2020) 「3D Multi-Object Tracking: A Baseline and New Evaluation Metrics」の公式 Python 実装

WFGYは、AI推論、RAG、エージェント、実世界のワークフローに向けた大型オープンソースリリースであるWFGY 5.0 Polaris Protocolへと向かっています。Problem Map、Global Debug Card、WFGY 4.0、CFVイースターエッグが含まれています。

メンタルヘルス向け大規模言語モデル (LLM x Mental Health)。事前学習・事後学習、データセット、評価、デプロイ、RAGに対応し、InternLM、Qwen、Baichuan、DeepSeek、Mixtral、Llama、GLMシリーズのモデルをサポート

グラフワークフロー、ツール、メモリ、A2A、AG-UI、MCP、評価、可観測性を備えた、本番環境向けエージェントシステム構築用 Go フレームワーク。

GenAI アプリケーションを迅速に開発するためのビルディングブロック

サーベイ論文「A Survey on Evaluation of Large Language Models」の公式GitHubページ

Python の多クラス混同行列ライブラリ

自然言語生成向け各種教師なし自動評価指標の評価コード

シンプルで快適な LISP 編集

XAI - 機械学習用の説明可能性ツールボックス

シミュレーションされた現実的な合成インタラクションを使用して、エージェントの包括的な診断と最適化を行うためのフレームワーク。

KernelBench: LLMはGPUカーネルを書けるか？ - ベンチマーク ＋ Torch -> CUDA（その他DSL含む）対応ツールキット

機械学習インフラ向け PyTorch のように、Kubernetes 上で AI ワークロードを魔法のように分散および実行します。

FuzzBench - サービスとしてのファザーベンチマーク

PyTorchにおける生成モデル向けの忠実度の高いパフォーマンス指標

AIエージェント向けのトレースネイティブなCI/CD — 本番環境のエラーをPRをブロックする回帰テストに変換します。自動検出、クラスタリング、独立したケースへの固定、CIでのゼロコスト再実行を行います。

.NET 向けの高パフォーマンスで軽量な数式評価ライブラリ。柔軟性と高性能を重視して設計されており、幅広い数理・論理演算をサポートします。

環境を使用してモデルやエージェントを評価および改善する

Prometheus と GPT4 を使用して LLM の応答を評価する 💯

LangSmith クライアント SDK の実装

データセットの視覚化、データ処理、結果の評価を行うための SemanticKITTI API

単一のパイプラインで高品質な合成データの生成、トレーニング、測定、評価を行う

ClawProBench は、決定論的な採点と複数回試行の信頼性を備え、OpenClaw ランタイムで LLM エージェントを評価するためのライブファーストのベンチマークハーネスです。

OpenJudge: 総合評価と品質報酬のための統一フレームワーク

golang における式評価

Web Codegen Scorer は、LLM が生成したウェブコードの品質を評価するためのツールです。