benchmark

Punktbasierter und winziger Code-Satz zur Objekterkennung und -lokalisierung von UCAS-VG

Benchmarking der Langform-Faktizität in Large Language Models. Originalcode für unser Paper „Long-form factuality in large language models“.

Ein Benchmarking-Framework für die Programmiersprache Julia

Dieses Repository enthält den Code für „VLM2Vec / MMEB“ [ICLR 2025], „VLM2Vec-V2 / MMEB-V2“ [TMLR 2026] und „MMEB-V3“ [COLM 2026].

Open-Source-Benchmark für Browser-KI-Agenten bei alltäglichen Aufgaben.

CAIRI Toolbox und Benchmark für überwachtes, semi-überwachtes und selbstüberwachtes visuelles Repräsentations lernen

Awesome-LLM-Eval: eine kuratierte Liste von Tools, Datensätzen/Benchmarks, Demos, Bestenlisten, Papers, Dokumenten und Modellen, hauptsächlich zur Evaluierung von LLMs.

BenchMARL ist eine Bibliothek für Benchmarking im Bereich Multi-Agent Reinforcement Learning (MARL). BenchMARL ermöglicht den schnellen Vergleich verschiedener MARL-Algorithmen, -Aufgaben und -Modelle, gestützt auf die zwei Kernprinzipien: Reproduzierbarkeit und Standardisierung.

Der allererste umfangreiche Benchmark für die indonesische Sprache im Bereich der natürlichen Sprachverarbeitung. Wir bieten mehrere Downstream-Aufgaben, vortrainierte IndoBERT-Modelle und Startcode! (AACL-IJCNLP 2020)

Eine Sammlung ziemlich cooler Datensätze für die Netzwerk- und Machine-Learning-Forschung.

A.S.E (AICGSecEval) ist ein von Tencent Wukong Code Security Team entwickeltes Benchmark zur Bewertung der Sicherheit von KI-generiertem Code auf Repository-Ebene.

Kotlin Multiplatform Benchmarking-Toolkit.

[ICML 2024] TrustLLM: Vertrauenswürdigkeit in Large Language Models

AgentLab: Ein Open-Source-Framework zur Entwicklung, zum Testen und zum Benchmarking von Web-Agenten für verschiedene Aufgaben, ausgelegt auf Skalierbarkeit und Reproduzierbarkeit.

Federated Learning Benchmark - Föderiertes Lernen auf Non-IID-Datensilos: Eine experimentelle Studie (ICDE 2022)

Leistungstest-Matcher für RSpec.

Ein Benchmark für Textklassifizierung in PyTorch

📖 Korean NLU Benchmark

Ein globales Netzwerk von Sonden zur Durchführung von Netzwerktests wie Ping, Traceroute und DNS-Auflösung.

Visuelle Objektverfolgung

Open-source infrastructure that turns scattered SKILL.md files into curated, retrieval-ready agent-skill corpora—with retrieval and evaluation tooling included.

Ein moderner HTTP-Framework-Bencher, der HTTP/1- und HTTP/2-Benchmarks unterstützt.

CL-bench: Ein Benchmark für Context Learning

ParseBench - Ein Dokumenten-Parsing-Benchmark für KI-Agenten

In C++17 geschriebene Serialisierungsbibliothek – packt C++-Structs ohne Makros oder Boilerplate-Code in kompakte Byte-Arrays.

Einfacher Leistungsvergleich verschiedener Programmiersprachen (JavaScript, Kotlin, Rust, Swift, Nim, Python, Go, Haskell, D, C++, Java, C#, Object Pascal, Ada, Lua, Ruby)

SpeechIO Leaderboard: eine große, robuste und umfassende Benchmarking-Plattform für automatische Spracherkennung.

Meta Agents Research Environments ist eine umfassende Plattform zur Evaluierung von KI-Agenten in dynamischen, realistischen Szenarien. Im Gegensatz zu statischen Benchmarks bietet diese Plattform sich entwickelnde Umgebungen, in denen Agenten ihre Strategien bei neuen Informationen anpassen müssen, um reale Herausforderungen abzubilden.

Datensatz und Benchmark für RAG auf internen Unternehmensdokumenten.

Performance-Benchmarking- und Test-Framework für .NET-Anwendungen