model-serving

Ein hocheffizientes und speichereffizientes Inferenz- und Serving-Engine für LLMs

Der einfachste Weg, KI-Apps und -Modelle bereitzustellen – Erstellen Sie Modell-Inferenz-APIs, Job-artige Warteschlangen, LLM-Apps, Multi-Modell-Pipelines und mehr!

Ein Framework für effiziente Modellinferenz mit Omnimodalitätsmodellen

Standardisierte, verteilte generative und prädiktive KI-Inferenzplattform für skalierbare Bereitstellungen mit mehreren Frameworks auf Kubernetes

Open-Source-Personal-Cloud-OS für Always-On-Agenten

In diesem Repository teile ich nützliche Notizen und Referenzen zur Bereitstellung von Modellen für Deep Learning in der Produktion.

🚀 Awesome System for Machine Learning ⚡️ KI-System-Papers und Praxis in der Industrie. ⚡️ Systeme für Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys usw. 🗃️ Llama3, Mistral usw. 🧑‍💻 Video-Tutorials.

LightLLM ist ein Python-basiertes LLM-Inferenz- und Bereitstellungsframework, das sich durch ein leichtgewichtigenes Design, einfache Skalierbarkeit und hohe Leistung auszeichnet.

FEDML - Die vereinheitlichte und skalierbare ML-Bibliothek für verteiltes Training im großen Maßstab, Modellbereitstellung und föderiertes Lernen. FEDML Launch, ein Cloud-übergreifender Scheduler, ermöglicht zudem die Ausführung beliebiger KI-Jobs auf jeder GPU-Cloud oder jedem On-Premise-Cluster. Basierend auf dieser Bibliothek ist TensorOpera AI (https://TensorOpera.ai) Ihre generative KI-Plattform im großen Maßstab.

Multi-LoRA-Inferenzserver, der auf Tausende von feinabgestimmten LLMs skaliert

Hochleistungs-Inferenz-Framework für große Sprachmodelle, mit Fokus auf Effizienz, Flexibilität und Verfügbarkeit.

Von der Community gepflegtes Hardware-Plugin für vLLM auf Ascend

OpenLake ist eine hochleistungsfähige Speicherengine für effiziente LLM-Inferenz und GPU-Training

🏕️ Reproduzierbare Entwicklungsumgebung für Menschen und Agenten

AICI: Prompts als (Wasm)-Programme

MLRun ist eine Open-Source-MLOps-Plattform zum schnellen Erstellen und Verwalten kontinuierlicher ML-Anwendungen über ihren gesamten Lebenszyklus. MLRun lässt sich in Ihre Entwicklungs- und CI/CD-Umgebung integrieren und automatisiert die Bereitstellung von Produktionsdaten, ML-Pipelines und Online-Anwendungen.

Ein Open-Source-DevOps-Tool der CNCF zum Paketieren und Versionieren von KI/ML-Modellen, Datensätzen, Code und Konfigurationen in ein OCI-Artefakt.

RTP-LLM: Alibabas leistungsstarke LLM-Inferenz-Engine für vielfältige Anwendungen.

Hopsworks – Datenintensive KI-Plattform mit einem Feature Store

Der einfachste Weg, KI/ML-Modelle in der Produktion bereitzustellen.

SGLang-Omni ermöglicht hochleistungsfähiges Serving für TTS-, ASR-, Sprach- und Omni-Modelle.

Ein durchsatzorientiertes Hochleistungs-Serving-Framework für LLMs

Skalierbarer Inferenz-Server für mit OpenVINO™ optimierte Modelle.

Eine hochoptimierte LLM-Inferenz-Beschleunigungs-Engine für Llama und dessen Varianten.

Ein Hochleistungs-Framework für die Bereitstellung von ML-Modellen mit dynamischem Batching und CPU/GPU-Pipelines zur vollständigen Ausnutzung Ihrer Rechenmaschine

Serverloses LLM-Hosting für alle.

Ollama für klassische ML-Modelle. Ein AOT-Compiler, der XGBoost-, LightGBM-, scikit-learn-, CatBoost- und ONNX-Modelle in nativen C99-Inferenzcode umwandelt. Ein Befehl zum Laden, ein Befehl zum Bereitstellen. 336x schneller als Python-Inferenz.

Reines Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

FastAPI-Grundgerüst für die produktionsreife Bereitstellung von Machine-Learning-Modellen.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton