evaluation

Teilen von praktischen Einblicken und theoretischem Wissen zur LLM-Evaluierung, die wir bei der Verwaltung des Open LLM Leaderboards und der Entwicklung von lighteval gesammelt haben!

Avalanche: Eine End-to-End-Bibliothek für Continual Learning auf Basis von PyTorch

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Evaluierung des State of the Art in der KI

Ein automatischer Evaluator für anweisungsbefolgende Sprachmodelle. Von Menschen validiert, qualitativ hochwertig, günstig und schnell.

(IROS 2020, ECCVW 2020) Offizielle Python-Implementierung für „3D Multi-Object Tracking: A Baseline and New Evaluation Metrics“

WFGY steuert auf das WFGY 5.0 Polaris Protocol zu, ein großes Open-Source-Release für KI-Reasoning, RAG, Agenten und reale Workflows. Enthält Problem Map, Global Debug Card, WFGY 4.0 und das CFV Easter Egg.

Großes Sprachmodell für psychische Gesundheit (LLM x Mental Health), Pre- & Post-Training, Datensatz, Evaluierung, Bereitstellung & RAG, kompatibel mit den Serien InternLM, Qwen, Baichuan, DeepSeek, Mixtral, LLaMA und GLM.

Ein Go-Framework zum Erstellen von produktionsreifen Agentensystemen mit Graph-Workflows, Tools, Speicher, A2A, AG-UI, MCP, Evaluierung und Observability.

Bausteine für die schnelle Entwicklung von GenAI-Anwendungen

Die offizielle GitHub-Seite für das Survey-Paper „A Survey on Evaluation of Large Language Models“.

Bibliothek für Mehrklassen-Konfusionsmatrizen in Python

Evaluierungscode für verschiedene unüberwachte automatisierte Metriken zur natürlichen Sprachgenerierung (NLG).

Kompakte und elegante LISP-Bearbeitung

XAI - Eine Explainability-Toolbox für maschinelles Lernen

Ein Framework zur umfassenden Diagnose und Optimierung von Agenten anhand simulierter, realistischer synthetischer Interaktionen

KernelBench: Können LLMs GPU-Kernel schreiben? – Benchmark + Toolkit mit Torch -> CUDA (+ weitere DSLs)

KI-Workloads in Python magisch auf Kubernetes verteilen und ausführen, wie PyTorch für ML-Infra.

FuzzBench – Fuzzer-Benchmarking als Service.

High-Fidelity-Leistungsmetriken für generative Modelle in PyTorch

Trace-native CI/CD für KI-Agenten — Produktionsfehler werden zu Regressionstests, die den PR blockieren. Automatisch erkennen, clustern, in hermetische Fälle einfrieren und für 0 $ in CI wiederholen.

NCalc ist eine schnelle und leichtgewichtige Expressions-Auswertung-Bibliothek für .NET, die auf Flexibilität und hohe Leistung ausgelegt ist. Sie unterstützt eine Vielzahl mathematischer und logischer Operationen.

Modelle und Agenten mithilfe von Umgebungen evaluieren und verbessern

Bewerten Sie die Antworten Ihres LLM mit Prometheus und GPT4 💯

LangSmith Client SDK-Implementierungen

SemanticKITTI-API zur Visualisierung von Datensätzen, Verarbeitung von Daten und Auswertung von Ergebnissen.

Generierung hochwertiger synthetischer Daten sowie Training, Messung und Evaluierung in einer einzigen Pipeline

ClawProBench ist ein Live-First-Benchmark-Harness zur Evaluierung von LLM-Agenten in der OpenClaw-Laufzeitumgebung mit deterministischer Bewertung und Zuverlässigkeit bei wiederholten Durchläufen.

OpenJudge: Ein einheitliches Framework für ganzheitliche Evaluierung und Qualitätsbelohnungen

Ausdrucksauswertung in Golang

Web Codegen Scorer ist ein Werkzeug zur Bewertung der Qualität von Web-Code, der von LLMs generiert wurde.