evaluation-metrics

El marco de evaluación para LLM

SDK de Python para la monitorización de agentes de IA, seguimiento de costes de LLM, pruebas comparativas y más. Se integra con la mayoría de LLMs y frameworks de agentes, incluidos CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2 y CamelAI.

"Guía de construcción de caja blanca para LLM": un Tiny-Universe completamente hecho a mano

Lighteval es tu caja de herramientas todo en uno para evaluar LLMs en múltiples backends

¡Compartiendo conocimientos prácticos y teóricos sobre la evaluación de LLM que recopilamos mientras gestionábamos la Open LLM Leaderboard y diseñábamos lighteval!

(IROS 2020, ECCVW 2020) Implementación oficial en Python para "3D Multi-Object Tracking: A Baseline and New Evaluation Metrics"

Evalúe su sistema de conversión de voz a texto con medidas de similitud como la tasa de error de palabras (WER)

OCTIS: ¡Comparar modelos de temas es sencillo! Un paquete de Python para optimizar y evaluar modelos de temas (aceptado en la pista de demostración de EACL2021).

Un marco neuronal para la evaluación de traducción automática (MT)

⚡️ Una biblioteca de Python ultrarrápida para evaluación, comparación y fusión de rankings 🐍

Implementación de ocho métricas de evaluación para medir la similitud entre dos imágenes: RMSE, PSNR, SSIM, ISSM, FSIM, SRE, SAM y UIQ.

Evaluación basada en datos para aplicaciones impulsadas por LLM.