sglang

単一のコード行を変更するだけで、GPTを任意のLLMに置き換え可能。Xinferenceを使用すると、オープンソース、音声、マルチモーダルモデルをクラウド、オンプレミス、またはラップトップ上で実行できます。すべて統一された本番環境対応の推論APIを介して。

データセンター規模の分散推論サービングフレームワーク

Mooncakeは、Moonshot AIが提供する主要なLLMサービスKimiの提供プラットフォームです。

OpenClaw-RL: 話すだけで任意のエージェントを訓練

高性能なAIモデルサービング（vLLM, SGLang）およびオンデマンドのSSHアクセス可能なGPUインスタンスのためのGPUクラスターマネージャー。

VLLM、Sglang、llama.cpp、exllamav3 用コントロールパネル

オープンソースの継続的推論ベンチマーク研究プラットフォーム — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72対MI355X対B200対GB300 NVL72、まもなく™ TPUv6e/v7/Trainium2/3 に対応

高精度な低ビット LLM 推論のための SOTA 量子化アルゴリズム。CPU、XPU、CUDA にシームレスに最適化され、多様なデータ型をサポート。vLLM、SGLang、Transformers と完全に互換性があります。

MOSS-TTSD は、表現豊かなマルチ話者合成向けに設計された音声対話生成モデルです。コンテキストの長期モデリング、柔軟な話者制御、多言語サポートを備え、短い音声参照からのゼロショット音声クローンを実現します。

動的な GPU 共有などのための仮想化 Elastic KV キャッシュ

HF、vLLM、SGLang を介して Nvidia、AMD、Intel GPU および Intel/AMD/Apple CPU のハードウェアアクセラレーションをサポートする LLM モデル量子化 (圧縮) ツールキット。

推測デコードモデルを簡単にトレーニングし、SGLangサービングへスムーズに移行する

MOVA: スケーラブルで同期されたビデオ・オーディオ生成に向けて

SGLang-Omni は、TTS、ASR、音声、およびオムニモデルの高性能なサービングを実現します。

UniRL は、統合マルチモーダルモデルの強化学習用フレームワークです

LLM 推論サービングと最適化のための、1日30分・10週間のロードマップ。vLLM、SGLang、量子化、予測デコード、ベンチマーク。

SparkTTS や OrpheusTTS などのモデルに基づき、高品質な中国語音声合成と音声クローンサービスを提供します。

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton