evaluation

¡Compartiendo conocimientos prácticos y teóricos sobre la evaluación de LLM que recopilamos mientras gestionábamos la Open LLM Leaderboard y diseñábamos lighteval!

Avalanche: una biblioteca de extremo a extremo para aprendizaje continuo basada en PyTorch.

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Evaluando el estado del arte en IA

Un evaluador automático para modelos de lenguaje que siguen instrucciones. Validado por humanos, de alta calidad, económico y rápido.

(IROS 2020, ECCVW 2020) Implementación oficial en Python para "3D Multi-Object Tracking: A Baseline and New Evaluation Metrics"

WFGY se encamina hacia WFGY 5.0 Polaris Protocol, un importante lanzamiento de código abierto para razonamiento de IA, RAG, agentes y flujos de trabajo del mundo real. Incluye Problem Map, Global Debug Card, WFGY 4.0 y el CFV Easter Egg.

Modelo de lenguaje grande (LLM) para salud mental, incluyendo pre y post-entrenamiento, conjuntos de datos, evaluación, despliegue y RAG, con modelos de las series InternLM, Qwen, Baichuan, DeepSeek, Mixtral, LLama y GLM.

Un framework de Go para construir sistemas de agentes en producción con flujos de trabajo de grafos, herramientas, memoria, A2A, AG-UI, MCP, evaluación y observabilidad.

Componentes básicos para el desarrollo rápido de aplicaciones de IA generativa

La página oficial de GitHub para el artículo de revisión "A Survey on Evaluation of Large Language Models".

Biblioteca de matriz de confusión multiclase en Python.

Código de evaluación para varias métricas automatizadas no supervisadas para la generación de lenguaje natural.

Edición de LISP breve y sencilla

XAI - Una caja de herramientas de explicabilidad para aprendizaje automático

Un marco para el diagnóstico integral y la optimización de agentes mediante interacciones sintéticas simuladas y realistas

KernelBench: ¿Pueden los LLMs escribir kernels de GPU? - Benchmark + Kit de herramientas con Torch -> CUDA (+ más DSLs)

Distribuye y ejecuta cargas de trabajo de IA en Kubernetes de forma mágica con Python, similar a PyTorch para infraestructura de ML.

FuzzBench: evaluación comparativa de fuzzers como servicio.

Métricas de rendimiento de alta fidelidad para modelos generativos en PyTorch

CI/CD nativo de trazas para agentes de IA: los fallos en producción se convierten en pruebas de regresión que bloquean el PR. Detección automática, agrupación, congelación en casos herméticos y reproducción en CI a costo cero.

NCalc es una biblioteca de evaluación de expresiones rápida y ligera para .NET, diseñada para ofrecer flexibilidad y alto rendimiento. Soporta una amplia gama de operaciones matemáticas y lógicas.

Evalúe y mejore modelos y agentes utilizando entornos.

Evalúa la respuesta de tu LLM con Prometheus y GPT4 💯

Implementaciones del SDK de cliente para LangSmith

API de SemanticKITTI para visualizar conjuntos de datos, procesar información y evaluar resultados.

Generación de datos sintéticos de alta calidad, entrenamiento, medición y evaluación en un único pipeline

ClawProBench es un banco de pruebas orientado a la ejecución en tiempo real para evaluar agentes LLM en el entorno de ejecución OpenClaw, con calificación determinista y fiabilidad en pruebas repetidas.

OpenJudge: un marco unificado para la evaluación holística y recompensas de calidad.

Evaluación de expresiones en golang.

Web Codegen Scorer es una herramienta para evaluar la calidad del código web generado por LLMs