evaluation-metrics

Le framework d'évaluation pour LLM.

SDK Python pour la surveillance d'agents IA, le suivi des coûts LLM, le benchmarking, et plus encore. S'intègre avec la plupart des LLM et frameworks d'agents, notamment CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2 et CamelAI.

Guide de construction de boîte blanche pour grands modèles : un Tiny-Universe entièrement conçu manuellement.

Lighteval est votre boîte à outils tout-en-un pour évaluer les LLM sur plusieurs backends.

Partage d'aperçus pratiques et de connaissances théoriques sur l'évaluation des LLM, recueillis lors de la gestion de l'Open LLM Leaderboard et de la conception de lighteval.

(IROS 2020, ECCVW 2020) Implémentation Python officielle pour « 3D Multi-Object Tracking: A Baseline and New Evaluation Metrics ».

Évaluez votre système de reconnaissance vocale avec des mesures de similarité telles que le taux d'erreur sur les mots (WER).

OCTIS : Comparer des modèles de sujets en toute simplicité ! Un package Python pour optimiser et évaluer les modèles de sujets (accepté à la session démo de l'EACL2021).

Un framework neuronal pour l'évaluation de la traduction automatique.

⚡️Une bibliothèque Python ultra-rapide pour l'évaluation, la comparaison et la fusion de classements 🐍

Implémentation de huit métriques d'évaluation pour mesurer la similarité entre deux images. Les huit métriques sont : RMSE, PSNR, SSIM, ISSM, FSIM, SRE, SAM et UIQ.

Évaluation basée sur les données pour les applications propulsées par LLM.