sglang

Troque o GPT por qualquer LLM alterando apenas uma linha de código. O Xinference permite executar modelos de código aberto, de fala e multimodais na nuvem, localmente ou no seu laptop — tudo através de uma API de inferência unificada e pronta para produção.

Um framework de serviço de inferência distribuída em escala de datacenter.

Mooncake é a plataforma de serviço para o Kimi, um serviço de LLM líder fornecido pela Moonshot AI.

OpenClaw-RL: Treine qualquer agente simplesmente conversando

Um gerenciador de cluster de GPU para servir modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU acessíveis via SSH sob demanda.

Painel de controle para VLLM, Sglang, llama.cpp, exllamav3

Plataforma de pesquisa de benchmark de inferência contínua de código aberto — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 e em breve™ TPUv6e/v7/Trainium2/3

Um algoritmo de quantização SOTA para inferência de LLM de baixo bit e alta precisão, otimizado para CPU/XPU/CUDA, com suporte a múltiplos tipos de dados e compatibilidade total com vLLM, SGLang e Transformers.

MOSS-TTSD é um modelo de geração de diálogo falado projetado para síntese expressiva de múltiplos falantes. Ele apresenta modelagem de contexto longo, controle flexível de falante e suporte multilíngue, permitindo clonagem de voz zero-shot a partir de referências de áudio curtas.

Cache KV elástico virtualizado para compartilhamento dinâmico de GPU e muito mais

Kit de ferramentas de quantização (compressão) de modelos LLM com suporte a aceleração de hardware para GPUs Nvidia, AMD, Intel e CPUs Intel/AMD/Apple via HF, vLLM e SGLang.

Treine modelos de decodificação especulativa sem esforço e porte-os facilmente para o SGLang.

O SGLang-Omni capacita o atendimento de alto desempenho para modelos TTS, ASR, de fala e onidirecionais.

MOVA: rumo à geração de vídeo e áudio escalável e sincronizada.

UniRL é um framework para aprendizado por reforço de modelos multimodais unificados

Um roteiro de 10 semanas, com 30 minutos por dia, para inferência e otimização de LLMs. vLLM, SGLang, quantização, decodificação especulativa, benchmarking.

Com base em modelos como SparkTTS e OrpheusTTS, fornece serviços de clonagem de voz e síntese de fala em chinês de alta qualidade.

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton