evaluation

Plateforme d'ingénierie IA open source : évaluations LLM, observabilité, métriques, gestion de prompts, playground et jeux de données. Intégration avec OpenTelemetry, LangChain, OpenAI SDK, LiteLLM et plus encore. 🍊 YC W23

La plateforme d'ingénierie IA open source pour les agents, les LLM et les modèles de ML. MLflow permet aux équipes de toutes tailles de déboguer, d'évaluer, de surveiller et d'optimiser des applications IA de qualité production tout en maîtrisant les coûts et en gérant l'accès aux modèles et aux données.

Testez vos prompts, agents et RAG. Red teaming, pentesting et analyse de vulnérabilités pour l'IA. Comparez les performances de GPT, Claude, Gemini, DeepSeek et plus encore. Configurations déclaratives simples avec intégration en ligne de commande et CI/CD. Utilisé par OpenAI et Anthropic.

Déboguez, évaluez et surveillez vos applications LLM, systèmes RAG et workflows d'agents avec un traçage complet, des évaluations automatisées et des tableaux de bord prêts pour la production.

Plateforme de connaissances LLM open-source : transformez des documents bruts en un RAG interrogeable, un agent de raisonnement autonome et un wiki auto-maintenu.

Optimisez les évaluations de vos applications LLM.

Fine-tunez, évaluez et déployez facilement Qwen, Gemma ou tout LLM à poids ouverts !

OpenCompass est une plateforme d'évaluation LLM, prenant en charge une large gamme de modèles (Llama3, Mistral, InternLM2, GPT-4, LLaMa2, Qwen, GLM, Claude, etc.) sur plus de 100 jeux de données.

Plateforme d'observabilité LLM open source. Une ligne de code pour surveiller, évaluer et expérimenter. YC W23

Plateforme d'optimisation d'agents IA de nouvelle génération : Cozeloop résout les défis du développement d'agents IA en offrant des capacités de gestion sur tout le cycle de vie, du développement au débogage, en passant par l'évaluation et la surveillance.

AutoRAG : permet à votre agent de trouver n'importe quel élément sur votre ordinateur et devient plus intelligent à mesure que vous l'utilisez.

Construisez, évaluez et optimisez des systèmes d'IA. Inclut des évaluations, RAG, agents, fine-tuning, génération de données synthétiques, gestion de jeux de données, MCP, et plus encore.

Boîte à outils d'évaluation multimodale tout-en-un pour les tâches textuelles, d'image, vidéo et audio.

Boîte à outils d'évaluation open-source pour grands modèles multimodaux (LMM), prenant en charge plus de 220 LMM et 80 benchmarks

Package Python pour l'évaluation de l'odométrie et du SLAM.

Plateforme pour l'évaluation de LLM et le test d'agents IA

MTEB : Évaluation de pointe des embeddings à travers les langues et les modalités

Un framework rationalisé et personnalisable pour l'évaluation efficace et le benchmarking de performance des grands modèles (LLM, VLM, AIGC).

SuperCLUE : Benchmark complet pour les grands modèles de langage chinois.

Laminar - plateforme d'observabilité open source conçue pour les agents IA. YC S24.

Klipse est un plugin JavaScript permettant d'intégrer des extraits de code interactifs dans des blogs techniques.

Un environnement de programmation visuelle open source pour tester les prompts destinés aux LLM.

YAO = Yielding AI Outcomes. Un système rigoureux d'ingénierie, d'évaluation, de gouvernance et de portabilité pour les compétences d'agents réutilisables.

Lighteval est votre boîte à outils tout-en-un pour évaluer les LLM sur plusieurs backends.

🤗 Evaluate : Une bibliothèque pour évaluer facilement les modèles et jeux de données d'apprentissage automatique.

UpTrain est une plateforme open-source unifiée pour évaluer et améliorer les applications d'IA générative. Nous fournissons des scores pour plus de 20 contrôles préconfigurés (couvrant le langage, le code et les cas d'usage d'embedding), effectuons une analyse des causes profondes des échecs et proposons des pistes de résolution.

Intégration de GraphRAG, LightRAG et Neo4j-llm-graph-builder pour la construction et la recherche de graphes de connaissances. Combine la technologie DeepSearch pour le raisonnement RAG privé et inclut un framework d'évaluation personnalisé pour GraphRAG.

Le workflow Fable : comment Claude Fable 5 a fonctionné, distillé en compétences exécutables par n'importe quel modèle, avec une évaluation pour garantir sa fiabilité. Penser / agir / prouver.

Plateforme de test et d'évaluation pour discuter, inspecter et déboguer les serveurs MCP, les applications MCP et les applications ChatGPT.

Articles et blogs incontournables sur la modélisation de contexte long basée sur les LLM