evaluation

Framework pour améliorer les LLM pour les tâches RAG via le fine-tuning.

[EMNLP 2024 & AAAI 2026] Une boîte à outils puissante pour la compression de grands modèles, incluant les LLM, les VLM et les modèles génératifs vidéo.

🦞 Plugin officiel pour OpenClaw qui exporte les traces d'agents vers Opik. Visualisez et surveillez le comportement des agents, les coûts, les jetons, les erreurs et plus encore.

Implémentation Python de l'IOU Tracker

⚡️Une bibliothèque Python ultra-rapide pour l'évaluation, la comparaison et la fusion de classements 🐍

Évaluation comparative de la factualité à long format dans les grands modèles de langage. Code source original de notre article "Long-form factuality in large language models".

Benchmark open source pour agents IA de navigateur sur des tâches quotidiennes.

Awesome-LLM-Eval : une liste organisée d'outils, de jeux de données/benchmarks, de démos, de classements, d'articles, de documentation et de modèles, principalement dédiée à l'évaluation des LLM.

AutoPrompt : Construction automatique de prompts pour les modèles de langage masqués.

[ICML 2024] TrustLLM : La fiabilité dans les grands modèles de langage

Un évaluateur d'expressions mathématiques et pseudo-C# simple dans un seul fichier C#. Peut également exécuter de petits scripts de type C#.

Un dépôt de ressources pour le désapprentissage automatique dans les grands modèles de langage

TCExam est un système CBA (Computer-Based Assessment) (e-exam, CBT - Computer Based Testing) destiné aux universités, écoles et entreprises, qui permet aux éducateurs et formateurs de créer, planifier, diffuser et générer des rapports sur des sondages, des quiz, des tests et des examens.

Évaluateur d'expressions simple, sûr, cloisonné et extensible pour Python

Ce dépôt contient le code d'évaluation pour l'article "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"

Ceci est un dépôt d'outils pour aider à évaluer diverses méthodes effectuant la mise en correspondance d'images à partir d'une paire d'images.

Une collection de jeux de données associant des questions à des requêtes SQL.

ParseBench - Un benchmark d'analyse de documents pour les agents IA.

Meta Agents Research Environments est une plateforme complète conçue pour évaluer les agents IA dans des scénarios dynamiques et réalistes. Contrairement aux benchmarks statiques, cette plateforme introduit des environnements évolutifs où les agents doivent adapter leurs stratégies à mesure que de nouvelles informations deviennent disponibles, reflétant les défis du monde réel.

Jeu de données et benchmark pour le RAG sur des documents internes d'entreprise.