benchmark

UCAS-VGのポイントベースおよび極小オブジェクト検出・ローカライゼーションコードセット

大規模言語モデルにおける長文の事実性のベンチマーク。論文「Long-form factuality in large language models」のオリジナルコード。

Julia言語向けのベンチマークフレームワーク

このリポジトリには、「VLM2Vec / MMEB」[ICLR 2025]、「VLM2Vec-V2 / MMEB-V2」[TMLR 2026]、および「MMEB-V3」[COLM 2026] のコードが含まれています

CAIRI 教師あり、半教師あり、および自己教師あり視覚表現学習ツールボックスおよびベンチマーク

日常タスクにおけるブラウザ AI エージェントのオープンソースベンチマーク。

Awesome-LLM-Eval: LLMの評価に特化したツール、データセット/ベンチマーク、デモ、リーダーボード、論文、ドキュメント、モデルの厳選リスト。

BenchMARLは、マルチエージェント強化学習（MARL）のベンチマークを行うためのライブラリです。BenchMARLを使用することで、「再現性」と「標準化」という2つの核心的原則に基づき、さまざまなMARLアルゴリズム、タスク、モデルを迅速に比較できます。

A.S.E (AICGSecEval) は、Tencent Wukong Code Security Team によって開発されたリポジトリレベルの AI 生成コードセキュリティ評価ベンチマーク。

ネットワーク科学および機械学習の研究のために収集した、なかなか興味深いデータセットのレポジトリ

インドネシア語初の大規模自然言語処理ベンチマーク。複数の下流タスク、事前学習済み IndoBERT モデル、およびスターターコードを提供 (AACL-IJCNLP 2020)

Kotlinマルチプラットフォーム向けベンチマークツールキット

[ICML 2024] TrustLLM: 大規模言語モデルにおける信頼性

AgentLab: 多様なタスクでWebエージェントの開発、テスト、ベンチマークを行うためのオープンソースフレームワーク。スケーラビリティと再現性を重視して設計されています。

RSpec 向けのパフォーマンス検証マッチャー

連合学習ベンチマーク - 非IIDデータサイロにおける連合学習：実験的研究 (ICDE 2022)

PyTorchにおけるテキスト分類のベンチマーク

韓国語NLUベンチマーク

ping、traceroute、DNS解決などのネットワークテストを実行するグローバルなプローブネットワーク

ビジュアルオブジェクトトラッキング

HTTP/1およびHTTP/2のベンチマークをサポートする、よりモダンなHTTPフレームワークベンチマーカー。

CL-bench: コンテキスト学習のためのベンチマーク

ParseBench - AI エージェントのためのドキュメント解析ベンチマーク

C++17 で書かれたシリアライゼーションライブラリ - マクロやボイラープレートコードなしで C++ の構造体をコンパクトなバイト配列にパックします

Open-source infrastructure that turns scattered SKILL.md files into curated, retrieval-ready agent-skill corpora—with retrieval and evaluation tooling included.

いくつかのプログラミング言語の素朴なパフォーマンス比較（JavaScript、Kotlin、Rust、Swift、Nim、Python、Go、Haskell、D、C++、Java、C#、Object Pascal、Ada、Lua、Ruby）

SpeechIO Leaderboard: 自動音声認識のための大規模で堅牢かつ包括的なベンチマークプラットフォーム。

Meta Agents Research Environments は、動的かつ現実的なシナリオで AI エージェントを評価するために設計された包括的なプラットフォームです。静的なベンチマークとは異なり、このプラットフォームは、新しい情報が利用可能になるにつれてエージェントが戦略を適応させなければならない進化する環境を導入し、現実世界の課題を反映しています。

社内文書におけるRAGのためのデータセットとベンチマーク。

.NET アプリケーション向けのパフォーマンステストおよびベンチマークフレームワーク :chart_with_upwards_trend: