evals

Mastra ist das moderne TypeScript-Framework für KI-gestützte Anwendungen und Agenten.

KI-Observability & Evaluierung

Python-SDK für KI-Agenten-Monitoring, LLM-Kostenverfolgung, Benchmarking und mehr. Integriert sich in die meisten LLMs und Agenten-Frameworks, einschließlich CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2 und CamelAI

KI-Systeme entwickeln, bewerten und optimieren. Beinhaltet Evaluierungen, RAG, Agenten, Fine-Tuning, synthetische Datenerzeugung, Dataset-Management, MCP und mehr.

Framework zur Evaluierung und Verbesserung von Agenten

KI-Beobachtbarkeitsplattform für LLM- und Agentensysteme in der Produktion.

Evaluierung und Tracking für LLM-Experimente und KI-Agenten

Laminar – eine Open-Source-Observability-Plattform, speziell entwickelt für KI-Agenten. YC S24.

Leitfaden zum KI-Systemdesign für Ingenieure, die KI-Produktionssysteme und -Evaluierungen entwickeln.

Verwandeln Sie jeden Workflow in wiederverwendbare KI-Agenten-Fähigkeiten, die auf 17 Plattformen installiert werden können – Claude Code, Copilot, Cursor, Windsurf, Codex, Gemini, Kiro und mehr. Ein SKILL.md für jede Plattform.

Test- und Evaluierungsplattform zum Chatten, Inspizieren und Debuggen von MCP-Servern, MCP-Apps und ChatGPT-Apps.

Evaluiere deine LLM-basierten Apps mit TypeScript

Waku Waku! Waku Agent ist ein lokal orientiertes KI-Agenten-Framework, das Ihnen wirklich gehört, einschließlich Schleife, Speicher und Evaluierung – alles in Code, der auch bei Wachstum übersichtlich bleibt.

Observability und Durchsetzung für KI-Agenten-Frameworks. Erfassung jedes Laufs und der Laufzeitzuverlässigkeit mit Richtliniendurchsetzung. 40 integrierte Richtlinien, ein lokales Dashboard, kein Konto erforderlich und ein großzügiger kostenloser Cloud-Tarif.

Open-Source-Kundenservice für die Produktion mit integrierten Auswertungen und Monitoring

🥤 RAGLite ist ein Python-Toolkit für Retrieval-Augmented Generation (RAG) mit DuckDB oder PostgreSQL

Trace-native CI/CD für KI-Agenten — Produktionsfehler werden zu Regressionstests, die den PR blockieren. Automatisch erkennen, clustern, in hermetische Fälle einfrieren und für 0 $ in CI wiederholen.

Erstellen Sie agentenbasierte Systeme. Führen Sie sie sicher aus. Orchestrieren Sie Agenten, automatisieren Sie Geschäftsprozesse, inspizieren Sie jede Ausführung und behalten Sie die menschliche Kontrolle. Deployen Sie Heym auf Ihrer eigenen Infrastruktur.

Low-level agentic design patterns. Turning old engineering wisdom into reflexes your agent reaches for on its own—on any agent.

Ein Skill-Ersteller, der nachweist, dass seine Skills funktionieren. Evidenzbasierte Skill-Erstellung für Claude Code und Codex: basislinengeprüfte Generierung, regressionsgetriebene Evaluierungen pro Skill, Ökosystem-Doctor, Laufzeitübergreifender Compiler und optionaler proaktiver Berater.

Eine kuratierte, direkte Sammlung der besten Ressourcen zum Erstellen und Evaluieren von KI-Agenten – Paper, Blogs, Vorträge, Tools, Benchmarks. Gepflegt von BenchFlow.

Hands-on, framework-free Colab notebooks for the AI Engineer / Forward Deployed Engineer (FDE) skill set — model APIs, structured output, tool calling, RAG, evals-as-the-spine, agents (loop from scratch, tool design, guardrails, MCP, Skills), fine-tuning vs LoRA, prompt-injection/security, LLMOps, and customer craft. Runs on the free Groq API.