evaluation

Framework para aprimorar LLMs para tarefas de RAG usando ajuste fino.

[EMNLP 2024 & AAAI 2026] Um poderoso kit de ferramentas para compressão de grandes modelos, incluindo LLMs, VLMs e modelos gerativos de vídeo.

🦞 Plugin oficial para OpenClaw que exporta rastreamentos de agentes para o Opik. Visualize e monitore o comportamento, custo, tokens, erros e muito mais do agente.

Implementação em Python do IOU Tracker.

⚡️Uma biblioteca Python extremamente rápida para avaliação, comparação e fusão de ranqueamento 🐍

Benchmarking de factualidade de formato longo em grandes modelos de linguagem. Código original para nosso artigo "Long-form factuality in large language models".

Benchmark de código aberto para agentes de IA de navegador em tarefas diárias.

Awesome-LLM-Eval: uma lista com curadoria de ferramentas, conjuntos de dados/benchmarks, demonstrações, placares, artigos, documentos e modelos, focada principalmente na avaliação de LLMs.

AutoPrompt: Construção automática de prompts para Modelos de Linguagem Mascarados.

[ICML 2024] TrustLLM: Confiabilidade em Modelos de Linguagem Grandes

Um avaliador simples de expressões matemáticas e em pseudo-C# em um único arquivo C#. Também pode executar pequenos scripts semelhantes ao C#

Um repositório de recursos para machine unlearning em grandes modelos de linguagem

TCExam é um sistema de avaliação baseada em computador (CBA/CBT) para universidades, escolas e empresas, que permite a educadores e instrutores criar, agendar, aplicar e gerar relatórios sobre pesquisas, questionários, testes e exames.

Avaliador de expressões simples, seguro, isolado e extensível para Python

Este repositório contém código de avaliação para o artigo "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"

Este é um repositório de ferramentas para ajudar a avaliar vários métodos que realizam correspondência de imagens a partir de um par de imagens.

Uma coleção de conjuntos de dados que associam perguntas a consultas SQL.

ParseBench - Um benchmark de análise de documentos para agentes de IA

Meta Agents Research Environments é uma plataforma abrangente projetada para avaliar agentes de IA em cenários dinâmicos e realistas. Ao contrário de benchmarks estáticos, esta plataforma introduz ambientes em evolução onde os agentes devem adaptar suas estratégias à medida que novas informações se tornam disponíveis, espelhando os desafios do mundo real.

Dataset e benchmark para RAG em documentos internos de empresas.