llm-evaluation

🪢 Open-Source-KI-Ingenieurplattform: LLM-Evaluierungen, Beobachtbarkeit, Metriken, Prompt-Management, Playground, Datensätze. Integriert mit OpenTelemetry, LangChain, OpenAI SDK, LiteLLM und mehr. 🍊YC W23

Die Open‑Source‑KI‑Engineering‑Plattform für Agenten, Large Language Models und ML‑Modelle. MLflow ermöglicht Teams aller Größenordnungen, Produktions‑Qualitäts‑KI‑Anwendungen zu debuggen, zu bewerten, zu überwachen und zu optimieren, während Kosten kontrolliert und der Zugriff auf Modelle und Daten verwaltet wird.

Testen Sie Ihre Prompts, Agents und RAGs. Red Teaming/Pentesting/Vulnerability-Scanning für KI. Leistungsvergleich von GPT, Claude, Gemini, DeepSeek und mehr. Einfache deklarative Konfigurationen mit Kommandozeile und CI/CD-Integration. Von OpenAI und Anthropic genutzt.

Debuggen, bewerten und überwachen Sie Ihre LLM-Anwendungen, RAG-Systeme und agentenbasierten Workflows mit umfassender Nachverfolgung, automatisierten Evaluierungen und produktionsreifen Dashboards.

Das LLM-Evaluierungs-Framework

Unabhängige Prüfung von KI-Agenten. Ausgeführt von Menschen oder dem Agenten selbst, um die wichtigste Frage in der KI-Agenten-Wirtschaft zu beantworten: Tut der Agent das, was er tun soll? Mit iFixAi erhalten Sie diese Antwort in weniger als 120 Sekunden.

KI-Observability & Evaluierung

Der LLM-Schwachstellenscanner

NoneLinear ReLE-Benchmark: Eine kontinuierlich aktualisierte Leistungsbewertung für chinesische KI-Großmodelle. Das Projekt umfasst 374 kommerzielle und Open-Source-Modelle, bietet ein Ranking sowie eine Datenbank mit über 2 Millionen Fehlereinträgen zur Analyse und Verbesserung von KI-Modellen.

🧊 Open-Source-LLM-Observability-Plattform. Eine Zeile Code zum Überwachen, Auswerten und Experimentieren. YC W23 🍓

Eine Full-Stack-KI-Red-Teaming-Plattform zur Sicherung von KI-Ökosystemen über Agent Scan, Skills Scan, MCP Scan, AI Infra Scan und LLM-Jailbreak-Evaluierung.

🐢 Open-Source-Evaluierungs- und Testbibliothek für LLM-Agenten

Agent OS: Der Agent wird von selbst schlauer. Wir halten lediglich die Stellung: Der Bewertungsbefehl und das erwartete Ergebnis gelangen nie in den Erfolgsvertrag, den wir ihm übergeben. Interview-gesichert, stufenweise Evaluierung, budgetierte Evolutionsschleife. MCP-Server, 13 Laufzeitumgebungen: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro und mehr.

Der praktische Leitfaden für LLMs: Von den Grundlagen bis zur Bereitstellung fortgeschrittener LLM- und RAG-Anwendungen auf AWS unter Verwendung von LLMOps-Best-Practices

AutoRAG: Jetzt kann Ihr Agent alles auf Ihrem Computer finden. Er wird intelligenter, je häufiger Sie ihn nutzen.

All-in-One Multimodales Evaluierungs-Toolkit für Text-, Bild-, Video- und Audio-Aufgaben

Eine Sammlung wissenschaftlicher Methoden, Prozesse, Algorithmen und Systeme zum Erstellen von Geschichten und Modellen.

Evaluierung und Tracking für LLM-Experimente und KI-Agenten

Laminar – eine Open-Source-Observability-Plattform, speziell entwickelt für KI-Agenten. YC S24.

Umfassende Ressourcen zu Generative AI, einschließlich einer detaillierten Roadmap, Projekten, Anwendungsfällen, Interviewvorbereitung und Programmiervorbereitung.

Agentenbasierter LLM-Schwachstellenscanner / KI-Red-Teaming-Kit 🧪

Open-Source-End-to-End-Plattform zum Evaluieren, Überwachen und Verbessern von LLM- und KI-Agenten-Anwendungen. Tracing · Evals · Simulationen · Datasets · Gateway · Guardrails. Selbst hostbar. Apache 2.0.

Datensätze ohne Code mithilfe von KI-Modellen erstellen, anichern und transformieren

Ein leistungsstarkes Tool für automatisiertes LLM-Fuzzing. Es wurde entwickelt, um Entwicklern und Sicherheitsforschern dabei zu helfen, potenzielle Jailbreaks in ihren LLM-APIs zu identifizieren und zu entschärfen.

Prompty erleichtert das Erstellen, Verwalten, Debuggen und Evaluieren von LLM-Prompts für KI-Anwendungen. Prompty ist eine Asset-Klasse und ein Format für LLM-Prompts, das die Beobachtbarkeit, Verständlichkeit und Portabilität für Entwickler verbessern soll.

[JMLR 2026] „UQLM: Ein Python-Paket zur Quantifizierung von Unsicherheiten in Large Language Models“

Trace-native CI/CD für KI-Agenten — Produktionsfehler werden zu Regressionstests, die den PR blockieren. Automatisch erkennen, clustern, in hermetische Fälle einfrieren und für 0 $ in CI wiederholen.

Der Continuous-Improvement-Stack für Agenten. Unsere Umgebungsdaten und Evaluierungen treiben die Verbesserung und Überwachung von Agenten voran.

KI-Aktienanalyse-Agent mit resilienten Workflows, evidenzbasierter RAG, versionierten Berichten und automatisierter Qualitätsbewertung.

Eine kuratierte, direkte Sammlung der besten Ressourcen zum Erstellen und Evaluieren von KI-Agenten – Paper, Blogs, Vorträge, Tools, Benchmarks. Gepflegt von BenchFlow.