evaluation

Framework zur Verbesserung von LLMs für RAG-Aufgaben mittels Fine-Tuning.

[EMNLP 2024 & AAAI 2026] Ein leistungsstarkes Toolkit zur Komprimierung großer Modelle einschließlich LLMs, VLMs und Video-Generierungsmodellen.

🦞 Offizielles Plugin für OpenClaw, das Agenten-Traces nach Opik exportiert. Überwachen Sie Agentenverhalten, Kosten, Token, Fehler und mehr.

Python-Implementierung des IOU Trackers

⚡️Eine blitzschnelle Python-Bibliothek für Ranking-Evaluierung, -Vergleich und -Fusion 🐍

Benchmarking der Langform-Faktizität in Large Language Models. Originalcode für unser Paper „Long-form factuality in large language models“.

Open-Source-Benchmark für Browser-KI-Agenten bei alltäglichen Aufgaben.

Awesome-LLM-Eval: eine kuratierte Liste von Tools, Datensätzen/Benchmarks, Demos, Bestenlisten, Papers, Dokumenten und Modellen, hauptsächlich zur Evaluierung von LLMs.

AutoPrompt: Automatische Prompt-Erstellung für maskierte Sprachmodelle.

[ICML 2024] TrustLLM: Vertrauenswürdigkeit in Large Language Models

Ein einfacher Mathe- und Pseudo-C#-Expression-Evaluator in einer C#-Datei. Kann auch kleine C#-ähnliche Skripte ausführen

Ein Ressourcen-Repository für Machine Unlearning in Large Language Models

TCExam ist ein computerbasiertes Bewertungssystem (CBA) für Universitäten, Schulen und Unternehmen, mit dem Lehrende und Ausbilder Umfragen, Quizze, Tests und Prüfungen erstellen, planen, durchführen und auswerten können.

Einfacher, sicherer, in einer Sandbox ausgeführter und erweiterbarer Ausdrucksauswerter für Python

Eine Toolbox zur Evaluierung verschiedener Methoden für das Image Matching basierend auf Bildpaaren.

Dieses Repository enthält Evaluierungscode für das Paper "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"

Eine Sammlung von Datensätzen, die Fragen mit SQL-Abfragen verknüpfen.

ParseBench - Ein Dokumenten-Parsing-Benchmark für KI-Agenten

Meta Agents Research Environments ist eine umfassende Plattform zur Evaluierung von KI-Agenten in dynamischen, realistischen Szenarien. Im Gegensatz zu statischen Benchmarks bietet diese Plattform sich entwickelnde Umgebungen, in denen Agenten ihre Strategien bei neuen Informationen anpassen müssen, um reale Herausforderungen abzubilden.

Datensatz und Benchmark für RAG auf internen Unternehmensdokumenten.