benchmark

Ensemble de code de détection et de localisation d'objets minuscules basés sur des points de UCAS-VG

Évaluation comparative de la factualité à long format dans les grands modèles de langage. Code source original de notre article "Long-form factuality in large language models".

Un framework de benchmarking pour le langage Julia.

Ce dépôt contient le code de "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026], et "MMEB-V3" [COLM 2026]

Benchmark open source pour agents IA de navigateur sur des tâches quotidiennes.

Boîte à outils et benchmark CAIRI pour l'apprentissage visuel supervisé, semi‑supervisé et non supervisé

Awesome-LLM-Eval : une liste organisée d'outils, de jeux de données/benchmarks, de démos, de classements, d'articles, de documentation et de modèles, principalement dédiée à l'évaluation des LLM.

BenchMARL est une bibliothèque de benchmarking pour l'apprentissage par renforcement multi-agents (MARL). BenchMARL permet de comparer rapidement différents algorithmes MARL, tâches et modèles, tout en étant systématiquement fondé sur ses deux principes fondamentaux : la reproductibilité et la standardisation.

Le premier benchmark de traitement du langage naturel à grande échelle pour la langue Indonesian. Nous proposons plusieurs tâches en aval, des modèles IndoBERT pré-entraînés, et du code de démarrage! (AACL-IJCNLP 2020)

Un dépôt de jeux de données assez cool que j'ai collectés pour la recherche en science des réseaux et en apprentissage automatique.

A.S.E (AICGSecEval) est un benchmark d'évaluation de la sécurité du code généré par IA au niveau du dépôt, développé par l'équipe Tencent Wukong Code Security.

Boîte à outils de benchmarking multiplateforme Kotlin

[ICML 2024] TrustLLM : La fiabilité dans les grands modèles de langage

AgentLab : Cadre open-source de développement, de test et d'évaluation d'agents web sur des tâches variées, conçu pour la scalabilité et la reproductibilité.

Benchmark d'Apprentissage Federé - Apprentissage fédéré sur des silos de données non‑IID : Une étude expérimentale (ICDE 2022)

Matchers de test de performance pour RSpec

Un benchmark de classification de texte en PyTorch

📖 Benchmark NLU en coréen

Un réseau mondial de sondes pour exécuter des tests réseau tels que le ping, le traceroute et la résolution DNS

Suivi d'objets visuels

Open-source infrastructure that turns scattered SKILL.md files into curated, retrieval-ready agent-skill corpora—with retrieval and evaluation tooling included.

Un benchmark de frameworks HTTP plus moderne prenant en charge les benchmarks HTTP/1 et HTTP/2.

CL-bench : Un benchmark pour l'apprentissage contextuel

ParseBench - Un benchmark d'analyse de documents pour les agents IA.

Bibliothèque de sérialisation écrite en C++17 - Empaquette des structures C++ dans un tableau d'octets compact sans macros ni code boilerplate

Comparaison naïve de performances de quelques langages de programmation (JavaScript, Kotlin, Rust, Swift, Nim, Python, Go, Haskell, D, C++, Java, C#, Object Pascal, Ada, Lua, Ruby)

SpeechIO Leaderboard : une plateforme de benchmarking vaste, robuste et complète pour la reconnaissance automatique de la parole.

Meta Agents Research Environments est une plateforme complète conçue pour évaluer les agents IA dans des scénarios dynamiques et réalistes. Contrairement aux benchmarks statiques, cette plateforme introduit des environnements évolutifs où les agents doivent adapter leurs stratégies à mesure que de nouvelles informations deviennent disponibles, reflétant les défis du monde réel.

Jeu de données et benchmark pour le RAG sur des documents internes d'entreprise.

Framework de benchmarking et de test de performance pour les applications .NET.