sglang

코드 한 줄만 바꾸면 GPT를 어떤 LLM으로든 교체할 수 있습니다. Xinference를 사용하면 클라우드, 온프레미스, 노트북에서 오픈소스, 음성, 멀티모달 모델을 단일 프로덕션용 통합 추론 API로 실행할 수 있습니다.

데이터센터 규모의 분산 추론 서빙 프레임워크

Mooncake은 Moonshot AI가 제공하는 선도적인 LLM 서비스 Kimi의 서빙 플랫폼입니다.

OpenClaw-RL: 대화만으로 모든 에이전트 학습

고성능 AI 모델 서빙(vLLM, SGLang) 및 온디맨드 SSH 접근 가능 GPU 인스턴스를 위한 GPU 클러스터 관리자

VLLM, Sglang, llama.cpp, exllamav3 제어판

오픈 소스 지속적 추론 벤치마크 연구 플랫폼 — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 및 곧 출시될™ TPUv6e/v7/Trainium2/3

고정밀 저비트 LLM 추론을 위한 SOTA 양자화 알고리즘. CPU/XPU/CUDA에 최적화되었으며, 다양한 데이터 타입을 지원하고 vLLM, SGLang, Transformers와 완벽히 호환됩니다.

MOSS-TTSD는 표현력이 풍부한 다중 화자 합성을 위해 설계된 음성 대화 생성 모델입니다. 긴 문맥 모델링, 유연한 화자 제어, 다국어 지원을 제공하며 짧은 오디오 레퍼런스만으로 제로샷 음성 복제를 구현합니다.

동적 GPU 공유 등을 위한 가상화된 일래스틱 KV 캐시

HF, vLLM, SGLang을 통해 Nvidia, AMD, Intel GPU 및 Intel/AMD/Apple CPU의 하드웨어 가속을 지원하는 LLM 모델 양자화(압축) 툴킷.

추측 디코딩(speculative decoding) 모델을 손쉽게 학습하고 SGLang 서빙으로 원활하게 포팅

MOVA: 확장 가능하고 동기화된 비디오-오디오 생성을 향하여

SGLang-Omni는 TTS, ASR, 음성 및 옴니 모델을 위한 고성능 서빙을 지원합니다.

통합 멀티모달 모델 강화 학습을 위한 프레임워크 UniRL

LLM 추론 서빙 및 최적화를 위한 10주간, 하루 30분 로드맵. vLLM, SGLang, 양자화, 투기적 디코딩, 벤치마킹.

SparkTTS, OrpheusTTS 등의 모델을 기반으로 고품질 중국어 음성 합성 및 음성 복제 서비스를 제공합니다.

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton