benchmark

Conjunto de código de detección y localización de objetos pequeños basado en puntos de UCAS-VG

Evaluación comparativa de la veracidad en textos largos para modelos de lenguaje extensos. Código original para nuestro artículo "Long-form factuality in large language models".

Un framework de benchmarking para el lenguaje Julia.

Este repositorio contiene el código para "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] y "MMEB-V3" [COLM 2026].

CAIRI: Caja de herramientas y benchmark para aprendizaje de representación visual supervisado, semi-supervisado y auto-supervisado

Benchmark de código abierto para agentes de IA en navegadores para tareas diarias.

Awesome-LLM-Eval: una lista curada de herramientas, conjuntos de datos/benchmarks, demos, tablas de clasificación, artículos, documentación y modelos, enfocada principalmente en la evaluación de LLMs.

BenchMARL es una biblioteca para realizar evaluaciones comparativas de aprendizaje por refuerzo multiagente (MARL). BenchMARL permite comparar rápidamente diferentes algoritmos, tareas y modelos de MARL, basándose sistemáticamente en sus dos principios fundamentales: reproducibilidad y estandarización.

A.S.E (AICGSecEval) es un benchmark de evaluación de seguridad de código generado por IA a nivel de repositorio, desarrollado por el equipo de seguridad de código Tencent Wukong.

Un repositorio de conjuntos de datos interesantes recopilados para la investigación en ciencia de redes y aprendizaje automático.

El primer benchmark de procesamiento de lenguaje natural a gran escala para el idioma indonesio. Proporcionamos múltiples tareas posteriores, modelos IndoBERT preentrenados y código de inicio (AACL-IJCNLP 2020)

Kit de herramientas de benchmarking multiplataforma para Kotlin

[ICML 2024] TrustLLM: Confiabilidad en modelos de lenguaje de gran tamaño.

AgentLab: un framework de código abierto para desarrollar, probar y evaluar agentes web en diversas tareas, diseñado para la escalabilidad y la reproducibilidad.

Matchers de pruebas de rendimiento para RSpec.

Benchmark de aprendizaje federado - Aprendizaje federado en silos de datos no IID: un estudio experimental (ICDE 2022)

Un benchmark de clasificación de texto en PyTorch.

📖 Benchmark de NLU en coreano

Una red global de sondas para ejecutar pruebas de red como ping, traceroute y resolución de DNS

Seguimiento visual de objetos.

Un evaluador de rendimiento de frameworks HTTP más moderno que soporta benchmarks de HTTP/1 y HTTP/2.

CL-bench: un benchmark para aprendizaje en contexto

ParseBench: un benchmark de análisis de documentos para agentes de IA

Biblioteca de serialización escrita en C++17: empaqueta estructuras de C++ en una matriz de bytes compacta sin macros ni código repetitivo.

Open-source infrastructure that turns scattered SKILL.md files into curated, retrieval-ready agent-skill corpora—with retrieval and evaluation tooling included.

Comparación de rendimiento básica de varios lenguajes de programación (JavaScript, Kotlin, Rust, Swift, Nim, Python, Go, Haskell, D, C++, Java, C#, Object Pascal, Ada, Lua, Ruby)

SpeechIO Leaderboard: una plataforma de evaluación comparativa amplia, robusta y completa para el reconocimiento automático de voz.

Meta Agents Research Environments es una plataforma integral diseñada para evaluar agentes de IA en escenarios dinámicos y realistas. A diferencia de los benchmarks estáticos, esta plataforma introduce entornos en evolución donde los agentes deben adaptar sus estrategias a medida que hay nueva información disponible, reflejando desafíos del mundo real.

Conjunto de datos y benchmark para RAG en documentos internos de empresas.

Marco de pruebas y evaluación comparativa de rendimiento para aplicaciones .NET.