sglang

Ganti GPT dengan LLM apa pun hanya dengan mengubah satu baris kode. Xinference memungkinkan Anda menjalankan model open-source, ucapan, dan multimodal di cloud, on-premise, atau laptop Anda — semuanya melalui satu API inferensi terpadu yang siap untuk produksi.

Kerangka Kerja Layanan Inferensi Terdistribusi Skala Pusat Data

Mooncake adalah platform layanan untuk Kimi, layanan LLM terkemuka yang disediakan oleh Moonshot AI.

OpenClaw-RL: Latih agen apa pun hanya dengan berbicara

Manajer klaster GPU untuk penyajian model AI berkinerja tinggi (vLLM, SGLang) dan instans GPU yang dapat diakses via SSH sesuai permintaan.

Panel kontrol untuk VLLM, Sglang, llama.cpp, exllamav3

Platform Riset Benchmark Inferensi Berkelanjutan Open Source — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & segera hadir™ TPUv6e/v7/Trainium2/3 | Platform riset benchmark inferensi berkelanjutan open-source — Kimi K2.7-Code, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72, segera hadir™ TPUv6e/v7/Trainium2/3

Algoritma kuantisasi SOTA untuk inferensi LLM bit-rendah dengan akurasi tinggi, dioptimalkan secara mulus untuk CPU/XPU/CUDA, dengan dukungan berbagai tipe data dan kompatibilitas penuh dengan vLLM, SGLang, dan Transformers.

MOSS-TTSD adalah model pembuatan dialog lisan yang dirancang untuk sintesis multi-pembicara yang ekspresif. Model ini memiliki fitur pemodelan konteks panjang, kontrol pembicara yang fleksibel, dan dukungan multibahasa, sekaligus memungkinkan kloning suara zero-shot dari referensi audio pendek.

KV Cache Elastis Tervirtualisasi untuk Berbagi GPU Dinamis dan Lebih Jauh Lagi

Toolkit kuantisasi (kompresi) model LLM dengan dukungan akselerasi HW untuk GPU Nvidia, AMD, Intel, dan CPU Intel/AMD/Apple melalui HF, vLLM, dan SGLang.

Latih model speculative decoding dengan mudah dan transfer dengan lancar ke layanan SGLang.

MOVA: Menuju Pembuatan Video-Audio yang Dapat Diskalakan dan Disinkronkan.

SGLang-Omni mendukung penyajian berkinerja tinggi untuk model TTS, ASR, ucapan, dan omni.

UniRL adalah framework untuk Reinforcement Learning Model Multimodal Terpadu

Roadmap 10 minggu, 30 menit per hari untuk inferensi dan pengoptimalan penyajian LLM. vLLM, SGLang, kuantisasi, decoding spekulatif, benchmarking.

Berdasarkan model seperti SparkTTS dan OrpheusTTS, menyediakan layanan sintesis suara Tiongkok dan kloning suara berkualitas tinggi.

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton