benchmark

Avalie LLMs lutando em Street Fighter 3! A nova maneira de avaliar a qualidade de um LLM.

Fixture do pytest para benchmarking de código

Benchmarking rápido e simples para projetos Rust

[pip install medmnist] 18 conjuntos de dados padronizados para classificação de imagens biomédicas 2D e 3D.

Compilador rápido para Expression Trees em C# e a alternativa leve LightExpression. Ferramentas de diagnóstico e geração de código para expressões.

SMAC: O Desafio Multi-Agente de StarCraft.

Framework modular de Deep Reinforcement Learning em PyTorch. Biblioteca complementar do livro "Foundations of Deep Reinforcement Learning".

Últimos avanços no raciocínio System-2

[NeurIPS '25] Geração de grafos de conhecimento a partir de qualquer texto

GitHub Action para benchmarking contínuo visando manter o desempenho

Um gerador de carga melhor para o locust, escrito em golang.

LongBench v2 e LongBench (ACL 25' e 24').

KernelBench: LLMs conseguem escrever kernels de GPU? - Benchmark + Toolkit com Torch -> CUDA (+ mais DSLs)

PDEBench: Um benchmark abrangente para aprendizado de máquina científico.

Uma compilação de scripts de benchmarking para servidores Linux.

Estrutura computacional para aprendizagem por reforço no controle de tráfego

Benchmark para bancos de dados vetoriais.

JMLR: OmniSafe é um framework de infraestrutura para acelerar a pesquisa em SafeRL.

OpenSTL: Um benchmark abrangente de aprendizado preditivo espaço-temporal

Gerador de números primos rápido

ClickBench: um benchmark para bancos de dados analíticos.

lzbench é um benchmark em memória de compressores de código aberto.

Ferramenta de geração de tráfego e benchmarking para NoSQL Redis e Memcache.

Model Zoo para OpenCV DNN e benchmarks.

TorchBench é uma coleção de benchmarks de código aberto usados para avaliar o desempenho do PyTorch.

Suíte de testes de desempenho para Python

Relatório de realização de capacidade do DeepSeek V4 × J-Space — evidência de benchmark de que o J-Space reduz a perda de realização de capacidade no DeepSeek V4 (Flash/Pro).

Implementação oficial de "ADBench: Anomaly Detection Benchmark", NeurIPS 2022.

Airspeed Velocity: Uma ferramenta simples de benchmarking em Python com relatórios baseados na web

Molecular Sets (MOSES): Uma plataforma de benchmark para modelos de geração molecular