llmops

Bereits einsatzbereite Cloud-Vorlagen für RAG, KI-Pipelines und Unternehmenssuche mit Live-Daten. 🐳Docker-freundlich.⚡Immer synchron mit Sharepoint, Google Drive, S3, Kafka, PostgreSQL, Echtzeit-Daten-APIs und mehr.

Das schnellste, leichteste AI-Gateway. Rust-Core mit Python-SDK. 100+ LLM-APIs im OpenAI- (oder nativen) Format aufrufen mit Kostenverfolgung, Sicherheitsmechanismen, Lastausgleich und Logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

🪢 Open-Source-KI-Ingenieurplattform: LLM-Evaluierungen, Beobachtbarkeit, Metriken, Prompt-Management, Playground, Datensätze. Integriert mit OpenTelemetry, LangChain, OpenAI SDK, LiteLLM und mehr. 🍊YC W23

Composio powers 1000+ Toolkits, Tool-Suche, Kontext-Management, Authentifizierung und eine sandboxed Workbench, um Ihnen beim Aufbau von KI-Agenten zu helfen, die Absicht in Handlung umsetzen.

Die Open‑Source‑KI‑Engineering‑Plattform für Agenten, Large Language Models und ML‑Modelle. MLflow ermöglicht Teams aller Größenordnungen, Produktions‑Qualitäts‑KI‑Anwendungen zu debuggen, zu bewerten, zu überwachen und zu optimieren, während Kosten kontrolliert und der Zugriff auf Modelle und Daten verwaltet wird.

Dieses Projekt zielt darauf ab, Prinzipien und praktische Erfahrungen zu großen Modellen zu teilen (großmodellengineering, großmodell-Anwendungen)

Testen Sie Ihre Prompts, Agents und RAGs. Red Teaming/Pentesting/Vulnerability-Scanning für KI. Leistungsvergleich von GPT, Claude, Gemini, DeepSeek und mehr. Einfache deklarative Konfigurationen mit Kommandozeile und CI/CD-Integration. Von OpenAI und Anthropic genutzt.

☁️ Erstellen Sie multimodale KI-Anwendungen mit einem Cloud-nativen Stack

Debuggen, bewerten und überwachen Sie Ihre LLM-Anwendungen, RAG-Systeme und agentenbasierten Workflows mit umfassender Nachverfolgung, automatisierten Evaluierungen und produktionsreifen Dashboards.

<⚡️> SuperAGI – Ein entwicklerorientiertes, Open-Source-Framework für autonome KI-Agenten. Ermöglicht Entwicklern das schnelle und zuverlässige Erstellen, Verwalten und Ausführen nützlicher autonomer Agenten.

Python SDK für Agent AI Observability, Monitoring und Evaluation Framework. Beinhaltet Funktionen wie Agenten-, LLM- und Tool-Tracing, Debugging von Multi-Agenten-Systemen, Self-Hosted-Dashboard sowie erweiterte Analysen mit Zeitstrahl- und Ausführungsgraphen-Ansicht

Beschleunigen Sie Ihre LLM-Anwendungsbewertungen

Ein blitzschnelles KI-Gateway mit integrierten Schutzmaßnahmen. Leiten Sie Anfragen an über 1.600 LLMs und 50+ KI-Guardrails über eine schnelle und benutzerfreundliche API weiter.

Führen Sie beliebige Open-Source-LLMs wie DeepSeek und Llama als OpenAI-kompatiblen API-Endpunkt in der Cloud aus.

BISHENG ist eine offene LLM-DevOps-Plattform für Enterprise-KI-Anwendungen der nächsten Generation. Leistungsstarke und umfassende Funktionen umfassen: GenAI-Workflow, RAG, Agent, einheitliches Modellmanagement, Evaluierung, SFT, Datensatzverwaltung, Systemverwaltung auf Unternehmensniveau, Observability und mehr.

KI-Observability & Evaluierung

Erstellen, Verwalten und Bereitstellen von KI/ML-Systemen

Der einfachste Weg, KI-Apps und -Modelle bereitzustellen – Erstellen Sie Modell-Inferenz-APIs, Job-artige Warteschlangen, LLM-Apps, Multi-Modell-Pipelines und mehr!

⚙️🦀 Erstellen Sie modulare und skalierbare LLM-Anwendungen in Rust

Evidently ist ein Open-Source-Framework für ML- und LLM-Observability. Evaluieren, testen und überwachen Sie KI-gestützte Systeme oder Daten-Pipelines. Von tabellarischen Daten bis hin zu Gen AI. Über 100 Metriken.

Schnellstes Enterprise-KI-Gateway (50x schneller als LiteLLM) mit adaptivem Lastenausgleich, Cluster-Modus, Schutzfiltern, Unterstützung für über 1000 Modelle und <100 µs Overhead bei 5k RPS.

Open-Source-Observability für GenAI- oder LLM-Anwendungen auf Basis von OpenTelemetry

Plano ist ein KI-nativer Proxyserver und Data Plane für Agenten-Apps. Intelligentes LLM-Routing, Observability, Agenten-Orchestrierung und Guardrails, damit Sie sich auf die Kernlogik Ihrer Agenten konzentrieren können.

ClearML – Magische CI/CD zur Optimierung Ihrer KI-Workloads. Experimentenverwaltung, Datenverwaltung, Pipelines, Orchestrierung, Scheduling und Serving in einer MLOps/LLMOps-Lösung

Deployen Sie KI-Agenten in Minuten statt in Monaten auf Google Cloud. Produktionsreife Vorlagen mit integrierter CI/CD, Evaluierung und Observability.

🧊 Open-Source-LLM-Observability-Plattform. Eine Zeile Code zum Überwachen, Auswerten und Experimentieren. YC W23 🍓

Eine großartige und kuratierte Liste der besten LLMOps-Tools für Entwickler

🐢 Open-Source-Evaluierungs- und Testbibliothek für LLM-Agenten

KI-Agent-Optimierungsplattform der nächsten Generation: Cozeloop adressiert Herausforderungen bei der Entwicklung von KI-Agenten durch die Bereitstellung von Funktionen für das gesamte Lebenszyklusmanagement von der Entwicklung über das Debugging und die Evaluierung bis hin zur Überwachung.

ZenML 🙏: Eine KI-Plattform von Pipelines bis Agents. https://zenml.io.