benchmark

Conjunto de código de detecção e localização de objetos pequenos e baseados em pontos da UCAS-VG

Benchmarking de factualidade de formato longo em grandes modelos de linguagem. Código original para nosso artigo "Long-form factuality in large language models".

Um framework de benchmark para a linguagem Julia

Este repositório contém o código para "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] e "MMEB-V3" [COLM 2026].

Caixa de ferramentas e benchmark de aprendizado de representação visual supervisionado, semi-supervisionado e auto-supervisionado do CAIRI

Benchmark de código aberto para agentes de IA de navegador em tarefas diárias.

Awesome-LLM-Eval: uma lista com curadoria de ferramentas, conjuntos de dados/benchmarks, demonstrações, placares, artigos, documentos e modelos, focada principalmente na avaliação de LLMs.

BenchMARL é uma biblioteca para benchmark de Multi-Agent Reinforcement Learning (MARL). O BenchMARL permite comparar rapidamente diferentes algoritmos, tarefas e modelos de MARL, mantendo-se sistematicamente fundamentado em seus dois principais pilares: reprodutibilidade e padronização.

A.S.E (AICGSecEval) é um benchmark de avaliação de segurança de código gerado por IA em nível de repositório, desenvolvido pela equipe Tencent Wukong Code Security.

Um repositório de conjuntos de dados bem legais que coletei para pesquisas em ciência de redes e aprendizado de máquina.

O primeiro e maior benchmark de processamento de linguagem natural para a língua indonésia. Fornecemos múltiplas tarefas de downstream, modelos IndoBERT pré-treinados e código inicial! (AACL-IJCNLP 2020)

Kit de ferramentas de benchmarking multiplataforma para Kotlin

[ICML 2024] TrustLLM: Confiabilidade em Modelos de Linguagem Grandes

AgentLab: Um framework open-source para desenvolver, testar e avaliar agentes web em diversas tarefas, projetado para escalabilidade e reprodutibilidade.

Matchers de teste de desempenho para RSpec

Benchmark de Aprendizado Federado - Aprendizado Federado em Silos de Dados Não-IID: Um Estudo Experimental (ICDE 2022)

Um benchmark de classificação de texto em PyTorch

📖 Benchmark de NLU em Coreano

Uma rede global de sondas para executar testes de rede como ping, traceroute e resolução de DNS.

Rastreamento Visual de Objetos

Um benchmark de framework HTTP mais moderno, com suporte a benchmarks de HTTP/1 e HTTP/2.

CL-bench: Um Benchmark para Context Learning

ParseBench - Um benchmark de análise de documentos para agentes de IA

Biblioteca de serialização escrita em C++17 - Empacota structs de C++ em um array de bytes compacto sem macros ou código boilerplate

Open-source infrastructure that turns scattered SKILL.md files into curated, retrieval-ready agent-skill corpora—with retrieval and evaluation tooling included.

Comparação simples de desempenho de algumas linguagens de programação (JavaScript, Kotlin, Rust, Swift, Nim, Python, Go, Haskell, D, C++, Java, C#, Object Pascal, Ada, Lua, Ruby)

SpeechIO Leaderboard: uma plataforma de benchmarking ampla, robusta e abrangente para Reconhecimento Automático de Fala (ASR).

Meta Agents Research Environments é uma plataforma abrangente projetada para avaliar agentes de IA em cenários dinâmicos e realistas. Ao contrário de benchmarks estáticos, esta plataforma introduz ambientes em evolução onde os agentes devem adaptar suas estratégias à medida que novas informações se tornam disponíveis, espelhando os desafios do mundo real.

Dataset e benchmark para RAG em documentos internos de empresas.

Framework de benchmarking e teste de desempenho para aplicações .NET