vllm

Open-Source-Spracherkennungs-Toolkit für Training, Inferenz, Streaming-ASR, VAD, Interpunktion, Sprecherdiarisierungs-Pipelines und OpenAI-kompatibles/MCP-Serving.

Willkommen beim Llama Cookbook! Ihr Standard-Leitfaden für die Entwicklung mit Llama: Erste Schritte mit Inferenz, Fine-Tuning und RAG. Wir zeigen Ihnen auch, wie Sie End-to-End-Probleme mit der Llama-Modellfamilie lösen und diese bei verschiedenen Anbieterdiensten nutzen.

✍🏻 Quellcode-Analysen, Systemdesign & Engineering-Blogs | Halfrost-Field: Notizen zu Quellcode-Analyse, Systemdesign und Engineering-Praxis

Umfangreiche Open-Source-Bibliothek für KI-Forschungs- und Ingenieurskompetenzen für jedes KI-Modell. Verpacken Sie die Fähigkeiten und Ihr claude code/codex/gemini Agent wird zu einem KI-Forschungsagenten mit voller Leistung. Gewartet von Orchestra Research.

LMCache: Beschleunigen Sie Ihr LLM mit der schnellsten KV-Cache-Schicht

Ein benutzerfreundliches, skalierbares und leistungsstarkes Agentic-RL-Framework basierend auf Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)

Ersetzen Sie GPT durch ein beliebiges LLM, indem Sie nur eine einzige Codezeile ändern. Mit Xinference können Sie Open-Source-, Sprach- und multimodale Modelle in der Cloud, on-premise oder auf Ihrem Laptop ausführen – alles über eine einheitliche, produktionsbereite Inferenz-API.

Ein verteiltes Inference-Serving-Framework auf Rechenzentrumsebene

Mooncake ist die Serving-Plattform für Kimi, einen führenden LLM-Dienst von Moonshot AI.

Standardisierte, verteilte generative und prädiktive KI-Inferenzplattform für skalierbare Bereitstellungen mit mehreren Frameworks auf Kubernetes

Ein Low-Code-MCP-Framework zum Erstellen komplexer und innovativer RAG-Pipelines

Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte GPU-Instanzen mit SSH-Zugang.

Zuverlässiger Modellwechsel für jeden lokalen, mit OpenAI/Anthropic kompatiblen Server – llama.cpp, vllm usw.

📚 Eine kuratierte Liste fantastischer LLM/VLM-Inferenz-Papers mit Code: Flash-Attention, Paged-Attention, WINT8/4, Parallelismus usw. 🎉

Ein programmierbarer Mixture-of-Models-Router für heterogene LLM-Inferenz

Strukturierte Datenextraktion, Funktionsaufrufe und Agenten-Workflows mit ML, LLM und Vision-LLM

LLM-Inferenzsystem auf Apple Silicon für Systemingenieure lernen: Ein winziges vLLM + Qwen entwickeln

Kaskadierende Laufzeitumgebung für AI-Agenten. Optimiert Kosten, Latenz, Qualität und Richtlinienentscheidungen innerhalb der Agenten-Schleife.

Leistungsstarkes Inferenz- und Bereitstellungs-Toolkit für LLMs und VLMs auf Basis von PaddlePaddle

RamaLama ist ein Open-Source-Entwicklertool, das die lokale Bereitstellung von KI-Modellen aus beliebigen Quellen vereinfacht und ihre Nutzung für die Inferenz in der Produktion über die vertraute Sprache von Containern erleichtert.

Von der Community gepflegtes Hardware-Plugin für vLLM auf Ascend

Steuerungs-Panel für VLLM, Sglang, llama.cpp, exllamav3

Ein SOTA-Quantisierungsalgorithmus für hochpräzise Low-Bit-LLM-Inferenz, nahtlos optimiert für CPU/XPU/CUDA, mit Unterstützung für mehrere Datentypen und voller Kompatibilität mit vLLM, SGLang und Transformers.

Open-Source-Forschungsplattform für kontinuierliche Inferenz-Benchmarks — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & bald™ TPUv6e/v7/Trainium2/3

Leistungsstarker, mit OpenAI und Anthropic kompatibler LLM-Inferenzserver für Apple Silicon. Nativer MLX, Continuous Batching, multimodale Modelle, MCP-Tool-Aufrufe und Claude-Code-Unterstützung.

KI-Inferenz-Operator für Kubernetes. Der einfachste Weg, ML-Modelle in der Produktion bereitzustellen. Unterstützt VLMs, LLMs, Embeddings und Speech-to-Text.

LLM-Modell-Quantisierungs- (Kompprimierungs-) Toolkit mit Hardware-Beschleunigungsunterstützung für Nvidia-, AMD-, Intel-GPUs und Intel/AMD/Apple-CPUs über HF, vLLM und SGLang.

🔒 API-Gateway auf Enterprise-Niveau, das bei der Überwachung und Durchsetzung von Kosten- oder Ratenlimits pro API-Key hilft. Bietet granulare Zugriffskontrolle und Überwachung pro Benutzer, Anwendung oder Umgebung. Unterstützt OpenAI, Azure OpenAI, Anthropic, vLLM und Open-Source-LLMs.

Virtualisierter Elastic KV Cache für dynamisches GPU-Sharing und mehr

Bewerten Sie die Antworten Ihres LLM mit Prometheus und GPT4 💯