evaluation

🪢 Open-Source-KI-Ingenieurplattform: LLM-Evaluierungen, Beobachtbarkeit, Metriken, Prompt-Management, Playground, Datensätze. Integriert mit OpenTelemetry, LangChain, OpenAI SDK, LiteLLM und mehr. 🍊YC W23

Die Open‑Source‑KI‑Engineering‑Plattform für Agenten, Large Language Models und ML‑Modelle. MLflow ermöglicht Teams aller Größenordnungen, Produktions‑Qualitäts‑KI‑Anwendungen zu debuggen, zu bewerten, zu überwachen und zu optimieren, während Kosten kontrolliert und der Zugriff auf Modelle und Daten verwaltet wird.

Testen Sie Ihre Prompts, Agents und RAGs. Red Teaming/Pentesting/Vulnerability-Scanning für KI. Leistungsvergleich von GPT, Claude, Gemini, DeepSeek und mehr. Einfache deklarative Konfigurationen mit Kommandozeile und CI/CD-Integration. Von OpenAI und Anthropic genutzt.

Debuggen, bewerten und überwachen Sie Ihre LLM-Anwendungen, RAG-Systeme und agentenbasierten Workflows mit umfassender Nachverfolgung, automatisierten Evaluierungen und produktionsreifen Dashboards.

Open-Source-LLM-Wissensplattform: Verwandeln Sie Rohdokumente in ein abfragbares RAG, einen autonomen Reasoning-Agenten und ein sich selbst wartendes Wiki.

Beschleunigen Sie Ihre LLM-Anwendungsbewertungen

Einfaches Fine-Tuning, Evaluierung und Deployment von Qwen, Gemma oder anderen Open-Weight-LLMs!

OpenCompass ist eine LLM-Evaluierungsplattform, die eine Vielzahl von Modellen (Llama3, Mistral, InternLM2, GPT-4, LLaMa2, Qwen, GLM, Claude usw.) auf über 100 Datensätzen unterstützt.

🧊 Open-Source-LLM-Observability-Plattform. Eine Zeile Code zum Überwachen, Auswerten und Experimentieren. YC W23 🍓

KI-Agent-Optimierungsplattform der nächsten Generation: Cozeloop adressiert Herausforderungen bei der Entwicklung von KI-Agenten durch die Bereitstellung von Funktionen für das gesamte Lebenszyklusmanagement von der Entwicklung über das Debugging und die Evaluierung bis hin zur Überwachung.

AutoRAG: Jetzt kann Ihr Agent alles auf Ihrem Computer finden. Er wird intelligenter, je häufiger Sie ihn nutzen.

KI-Systeme entwickeln, bewerten und optimieren. Beinhaltet Evaluierungen, RAG, Agenten, Fine-Tuning, synthetische Datenerzeugung, Dataset-Management, MCP und mehr.

All-in-One Multimodales Evaluierungs-Toolkit für Text-, Bild-, Video- und Audio-Aufgaben

Open-Source-Evaluierungs-Toolkit für Large Multi-Modality Models (LMMs), unterstützt über 220 LMMs und 80+ Benchmarks

Python-Paket zur Evaluierung von Odometrie und SLAM

Die Plattform für LLM-Evaluierungen und KI-Agenten-Tests

MTEB: State-of-the-Art-Evaluierung von Embeddings über Sprachen und Modalitäten hinweg

Ein schlankes und anpassbares Framework für die effiziente Evaluierung und Leistungsbenchmarking großer Modelle (LLM, VLM, AIGC).

SuperCLUE: Ein umfassender Benchmark für chinesische Universal-Foundation-Modelle | A Benchmark for Foundation Models in Chinese

Laminar – eine Open-Source-Observability-Plattform, speziell entwickelt für KI-Agenten. YC S24.

Klipse ist ein JavaScript-Plugin zum Einbinden interaktiver Code-Snippets in Tech-Blogs.

Eine Open-Source-Umgebung für visuelle Programmierung zum Praxistest von Prompts für LLMs.

YAO = Yielding AI Outcomes. Ein rigoroses Engineering-, Evaluierungs-, Governance- und Portabilitätssystem für wiederverwendbare Agenten-Fähigkeiten.

Lighteval ist Ihr All-in-One-Toolkit zur Evaluierung von LLMs über mehrere Backends hinweg

🤗 Evaluate: Eine Bibliothek zur einfachen Evaluierung von Machine-Learning-Modellen und Datensätzen.

UpTrain ist eine einheitliche Open-Source-Plattform zur Evaluierung und Verbesserung von Generative-AI-Anwendungen. Wir bieten Bewertungen für über 20 vorkonfigurierte Prüfungen (für Sprach-, Code- und Embedding-Anwendungsfälle), führen Ursachenanalysen bei Fehlern durch und geben Einblicke in deren Behebung.

Vollständiges RAG: Integriert GraphRAG, LightRAG und Neo4j-llm-graph-builder für den Aufbau und die Suche von Wissensgraphen. Kombiniert DeepSearch-Technologie für privates RAG-Reasoning und bietet ein eigenes Evaluierungsframework für GraphRAG.

Der Fable-Workflow: Wie Claude Fable 5 funktionierte, verdichtet zu Fähigkeiten, die jedes Modell ausführen kann, zusammen mit der Evaluierung, die es ehrlich hält. Denken / Handeln / Beweisen.

Test- und Evaluierungsplattform zum Chatten, Inspizieren und Debuggen von MCP-Servern, MCP-Apps und ChatGPT-Apps.

📰 Lesenswerte Paper und Blogs zur LLM-basierten Langkontext-Modellierung 🔥