evaluation

Compartilhando insights práticos e conhecimento teórico sobre avaliação de LLM que reunimos ao gerenciar o Open LLM Leaderboard e projetar o lighteval!

Avalanche: uma biblioteca de ponta a ponta para aprendizado contínuo baseada em PyTorch.

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Avaliando o estado da arte em IA.

Um avaliador automático para modelos de linguagem de seguimento de instruções. Validado por humanos, de alta qualidade, barato e rápido.

(IROS 2020, ECCVW 2020) Implementação oficial em Python para "3D Multi-Object Tracking: A Baseline and New Evaluation Metrics".

O WFGY está caminhando para o WFGY 5.0 Polaris Protocol, um grande lançamento de código aberto para raciocínio de IA, RAG, agentes e fluxos de trabalho do mundo real. Inclui Mapa de Problemas, Cartão de Depuração Global, WFGY 4.0 e o Easter Egg CFV.

LLM para saúde mental, incluindo pré e pós-treinamento, conjunto de dados, avaliação, implantação e RAG, com modelos das séries InternLM, Qwen, Baichuan, DeepSeek, Mixtral, LLama e GLM

Um framework Go para criar sistemas de agentes de produção com fluxos de trabalho em grafo, ferramentas, memória, A2A, AG-UI, MCP, avaliação e observabilidade.

Blocos de construção para o desenvolvimento rápido de aplicações de GenAI

A página oficial do GitHub para o artigo de revisão "A Survey on Evaluation of Large Language Models".

Biblioteca de matriz de confusão multiclasse em Python

Código de avaliação para várias métricas automatizadas não supervisionadas para Geração de Linguagem Natural.

Edição de LISP curta e simples

XAI - Uma caixa de ferramentas de explicabilidade para machine learning

Um framework para diagnóstico abrangente e otimização de agentes usando interações sintéticas realistas e simuladas

KernelBench: LLMs conseguem escrever kernels de GPU? - Benchmark + Toolkit com Torch -> CUDA (+ mais DSLs)

Distribua e execute cargas de trabalho de IA no Kubernetes magicamente em Python, como o PyTorch para infraestrutura de ML.

FuzzBench - Benchmarking de fuzzers como serviço

Métricas de desempenho de alta fidelidade para modelos generativos em PyTorch

CI/CD nativo de rastreamento para agentes de IA — falhas de produção tornam-se testes de regressão que bloqueiam o PR. Detecte automaticamente, agrupe, congele em casos herméticos e reproduza em CI por custo zero.

NCalc é uma biblioteca de avaliação de expressões rápida e leve para .NET, projetada para flexibilidade e alto desempenho. Suporta uma ampla gama de operações matemáticas e lógicas.

Avalie e aprimore modelos e agentes usando ambientes

Avalie a resposta do seu LLM com Prometheus e GPT4 💯

Implementações do SDK do cliente LangSmith

API SemanticKITTI para visualização de conjuntos de dados, processamento de dados e avaliação de resultados.

Gere sintéticos de alta qualidade, treine, meça e avalie em um único pipeline

ClawProBench é um harness de benchmark voltado para o tempo de execução (live-first) para avaliar agentes de LLM no runtime OpenClaw, com avaliação determinística e confiabilidade de testes repetidos.

OpenJudge: Uma estrutura unificada para avaliação holística e recompensas de qualidade

Avaliação de expressões em Golang

Web Codegen Scorer é uma ferramenta para avaliar a qualidade de código web gerado por LLMs.