evaluation

Framework para mejorar LLMs en tareas de RAG mediante ajuste fino (fine-tuning).

[EMNLP 2024 & AAAI 2026] Un potente kit de herramientas para comprimir modelos grandes, incluyendo LLMs, VLMs y modelos generativos de video.

Plugin oficial para OpenClaw que exporta trazas de agentes a Opik. Visualiza y monitorea el comportamiento del agente, costos, tokens, errores y más.

Implementación en Python del rastreador IOU

⚡️ Una biblioteca de Python ultrarrápida para evaluación, comparación y fusión de rankings 🐍

Evaluación comparativa de la veracidad en textos largos para modelos de lenguaje extensos. Código original para nuestro artículo "Long-form factuality in large language models".

Benchmark de código abierto para agentes de IA en navegadores para tareas diarias.

Awesome-LLM-Eval: una lista curada de herramientas, conjuntos de datos/benchmarks, demos, tablas de clasificación, artículos, documentación y modelos, enfocada principalmente en la evaluación de LLMs.

AutoPrompt: Construcción automática de prompts para modelos de lenguaje enmascarados.

[ICML 2024] TrustLLM: Confiabilidad en modelos de lenguaje de gran tamaño.

Un evaluador simple de expresiones matemáticas y pseudo C# en un solo archivo C#. También puede ejecutar pequeños scripts similares a C#

Repositorio de recursos sobre machine unlearning en modelos de lenguaje de gran tamaño

TCExam es un sistema de evaluación asistida por computadora (CBA) para universidades, escuelas y empresas, que permite a educadores y capacitadores crear, programar, administrar y generar informes de encuestas, cuestionarios, pruebas y exámenes.

Evaluador de expresiones simple, seguro, aislado y extensible para Python.

Este repositorio contiene el código de evaluación para el artículo "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI".

Repositorio de herramientas para ayudar a evaluar diversos métodos de coincidencia de imágenes a partir de un par de ellas.

Una colección de conjuntos de datos que emparejan preguntas con consultas SQL

ParseBench: un benchmark de análisis de documentos para agentes de IA

Meta Agents Research Environments es una plataforma integral diseñada para evaluar agentes de IA en escenarios dinámicos y realistas. A diferencia de los benchmarks estáticos, esta plataforma introduce entornos en evolución donde los agentes deben adaptar sus estrategias a medida que hay nueva información disponible, reflejando desafíos del mundo real.

Conjunto de datos y benchmark para RAG en documentos internos de empresas.