vllm

Avalie a resposta do seu LLM com Prometheus e GPT4 💯

Construa seu próprio motor de inferência LLM de alto desempenho em C++ e CUDA - uma versão reduzida do vLLM.

Framework de treinamento de RL multimodal para modelos de difusão e omni

UniRL é um framework para aprendizado por reforço de modelos multimodais unificados

Notas sobre LLM, incluindo inferência de modelos, estrutura de modelos transformer e notas de análise de código de frameworks de LLM.

Um roteiro de 10 semanas, com 30 minutos por dia, para inferência e otimização de LLMs. vLLM, SGLang, quantização, decodificação especulativa, benchmarking.

Um software de OCR local, offline (após a configuração inicial) e portátil que pode processar imagens e arquivos PDF, usando DeepSeek-OCR-2 AI (executado diretamente na sua máquina).

Documentação completa de ponta a ponta para configurar seu próprio servidor LLM local e totalmente privado no Debian. Equipado com chat, busca web, RAG, gerenciamento de modelos, servidores MCP, geração de imagens e TTS.

Torne o Discord seu frontend de LLM - Suporta qualquer API compatível com OpenAI (OpenRouter, Ollama e mais)

Uma biblioteca Python alimentada por Modelos de Linguagem (LLMs) para descoberta e análise de dados conversacionais.

[EMNLP 2024 & AAAI 2026] Um poderoso kit de ferramentas para compressão de grandes modelos, incluindo LLMs, VLMs e modelos gerativos de vídeo.

Mecanismo de inferência de LLM em Pure Rust + CUDA — sem PyTorch, compatível com OpenAI, serve de Qwen3 a Kimi-K2

Simulador preciso, em larga escala e extensível para sistemas de inferência de LLM

O EfficientSAM3 comprime o SAM3 em modelos leves e adequados para borda por meio de destilação de conhecimento progressiva para segmentação e rastreamento de conceitos rápidos e prontos para comandos.

Com base em modelos como SparkTTS e OrpheusTTS, fornece serviços de clonagem de voz e síntese de fala em chinês de alta qualidade.

[CVPR 2025] RoboBrain: Um modelo cerebral unificado para manipulação robótica do abstrato ao concreto. Repositório oficial.

Crater é uma plataforma nativa da nuvem para treinamento e inferência de IA.

Uma interface web moderna para gerenciar e interagir com servidores vLLM (www.github.com/vllm-project/vllm). Suporta modos GPU e CPU, com otimizações especiais para macOS Apple Silicon e implantação corporativa no OpenShift/Kubernetes.

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

Uma ferramenta de interface de linha de comando para servir LLM usando vLLM.