evaluation-metrics

O framework de avaliação de LLM.

Python SDK para monitoramento de agentes de IA, rastreamento de custos de LLM, benchmarking e muito mais. Integra-se com a maioria das LLMs e frameworks de agentes, incluindo CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2 e CamelAI

Guia de construção de caixa branca para grandes modelos: um Tiny-Universe feito inteiramente à mão.

Lighteval é o seu kit de ferramentas completo para avaliar LLMs em múltiplos backends

Compartilhando insights práticos e conhecimento teórico sobre avaliação de LLM que reunimos ao gerenciar o Open LLM Leaderboard e projetar o lighteval!

(IROS 2020, ECCVW 2020) Implementação oficial em Python para "3D Multi-Object Tracking: A Baseline and New Evaluation Metrics".

Avalie seu sistema de conversão de fala em texto com medidas de similaridade como a taxa de erro de palavras (WER)

OCTIS: Comparar modelos de tópicos é simples! Um pacote Python para otimizar e avaliar modelos de tópicos (aceito na trilha de demonstração do EACL2021)

Uma Estrutura Neural para Avaliação de MT

⚡️Uma biblioteca Python extremamente rápida para avaliação, comparação e fusão de ranqueamento 🐍

Implementação de oito métricas de avaliação para acessar a similaridade entre duas imagens. As oito métricas são as seguintes: RMSE, PSNR, SSIM, ISSM, FSIM, SRE, SAM e UIQ.

Avaliação orientada a dados para aplicações baseadas em LLM