sglang

Ersetzen Sie GPT durch ein beliebiges LLM, indem Sie nur eine einzige Codezeile ändern. Mit Xinference können Sie Open-Source-, Sprach- und multimodale Modelle in der Cloud, on-premise oder auf Ihrem Laptop ausführen – alles über eine einheitliche, produktionsbereite Inferenz-API.

Ein verteiltes Inference-Serving-Framework auf Rechenzentrumsebene

Mooncake ist die Serving-Plattform für Kimi, einen führenden LLM-Dienst von Moonshot AI.

OpenClaw-RL: Trainieren Sie jeden Agenten einfach durch Sprache

Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte GPU-Instanzen mit SSH-Zugang.

Steuerungs-Panel für VLLM, Sglang, llama.cpp, exllamav3

Open-Source-Forschungsplattform für kontinuierliche Inferenz-Benchmarks — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & bald™ TPUv6e/v7/Trainium2/3

Ein SOTA-Quantisierungsalgorithmus für hochpräzise Low-Bit-LLM-Inferenz, nahtlos optimiert für CPU/XPU/CUDA, mit Unterstützung für mehrere Datentypen und voller Kompatibilität mit vLLM, SGLang und Transformers.

MOSS-TTSD is ein Modell zur Generierung gesprochener Dialoge, das für die ausdrucksstarke Synthese mehrerer Sprecher entwickelt wurde. Es bietet Long-Context-Modellierung, flexible Sprechersteuerung und mehrsprachige Unterstützung und ermöglicht gleichzeitig Zero-Shot-Stimmenklonen aus kurzen Audio-Referenzen.

Virtualisierter Elastic KV Cache für dynamisches GPU-Sharing und mehr

LLM-Modell-Quantisierungs- (Kompprimierungs-) Toolkit mit Hardware-Beschleunigungsunterstützung für Nvidia-, AMD-, Intel-GPUs und Intel/AMD/Apple-CPUs über HF, vLLM und SGLang.

Trainieren Sie spekulative Dekodierungsmodelle mühelos und portieren Sie sie reibungslos auf das SGLang-Serving.

SGLang-Omni ermöglicht hochleistungsfähiges Serving für TTS-, ASR-, Sprach- und Omni-Modelle.

MOVA: Auf dem Weg zu skalierbarer und synchronisierter Video-Audio-Generierung

UniRL ist ein Framework für das Reinforcement Learning multimodaler Einheitsmodelle

Ein 10-wöchiger, 30 Minuten pro Tag umfassender Fahrplan für LLM-Inferenz-Serving und -Optimierung. vLLM, SGLang, Quantisierung, spekulatives Decoding, Benchmarking.

Bietet hochwertige chinesische Sprachsynthese und Stimmklon-Dienste auf Basis von Modellen wie SparkTTS und OrpheusTTS.

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton