evaluation

Partage d'aperçus pratiques et de connaissances théoriques sur l'évaluation des LLM, recueillis lors de la gestion de l'Open LLM Leaderboard et de la conception de lighteval.

Avalanche : une bibliothèque de bout en bout pour l'apprentissage continu basée sur PyTorch.

Évaluation de l'état de l'art en IA

Un évaluateur automatique pour les modèles de langage suivant des instructions. Validé par l'humain, de haute qualité, économique et rapide.

(IROS 2020, ECCVW 2020) Implémentation Python officielle pour « 3D Multi-Object Tracking: A Baseline and New Evaluation Metrics ».

WFGY se dirige vers le protocole WFGY 5.0 Polaris, une version open-source majeure pour le raisonnement IA, le RAG, les agents et les flux de travail réels. Inclut Problem Map, Global Debug Card, WFGY 4.0 et l'Easter Egg CFV.

Grand modèle de langage (LLM) pour la santé mentale, incluant pré-entraînement, post-entraînement, jeux de données, évaluation, déploiement et RAG, avec les séries de modèles InternLM, Qwen, Baichuan, DeepSeek, Mixtral, LLama et GLM.

Un framework Go pour créer des systèmes d'agents en production avec workflows graphiques, outils, mémoire, A2A, AG-UI, MCP, évaluation et observabilité.

Composants de base pour le développement rapide d'applications GenAI

Page GitHub officielle de l'article de synthèse A Survey on Evaluation of Large Language Models

Bibliothèque de matrice de confusion multi-classes en Python.

Code d'évaluation pour diverses métriques automatisées non supervisées destinées à la génération de langage naturel.

Édition LISP concise et efficace.

XAI - Une boîte à outils d'explicabilité pour le machine learning

Un framework pour le diagnostic complet et l'optimisation d'agents via des interactions synthétiques réalistes simulées

KernelBench : Les LLM peuvent-ils écrire des noyaux GPU ? - Benchmark et boîte à outils avec Torch vers CUDA (et autres DSL)

Distribuez et exécutez des charges de travail IA sur Kubernetes comme par magie en Python, tel PyTorch pour l'infrastructure ML.

FuzzBench - Service de benchmarking pour fuzzers

Métriques de performance haute fidélité pour les modèles génératifs sous PyTorch.

CI/CD natif pour agents IA : les échecs en production deviennent des tests de régression bloquant les PR. Détection automatique, regroupement, isolation en cas hermétiques et rejeu en CI à coût nul.

NCalc est une bibliothèque d'évaluation d'expressions rapide et légère pour .NET, conçue pour la flexibilité et la haute performance. Elle prend en charge un large éventail d'opérations mathématiques et logiques.

Évaluer et améliorer les modèles et agents à l'aide d'environnements

Évaluez les réponses de votre LLM avec Prometheus et GPT4.

Implémentations du SDK client LangSmith

API SemanticKITTI pour la visualisation de jeux de données, le traitement de données et l'évaluation des résultats.

Générer des données synthétiques de haute qualité, entraîner, mesurer et évaluer dans un pipeline unique

ClawProBench est un banc d'essai en temps réel pour évaluer les agents LLM dans le runtime OpenClaw, avec une notation déterministe et une fiabilité basée sur des essais répétés.

OpenJudge : Un framework unifié pour l'évaluation holistique et les récompenses de qualité.

Évaluation d'expressions en golang

Web Codegen Scorer est un outil pour évaluer la qualité du code web généré par les LLM.