vllm

Evalúa la respuesta de tu LLM con Prometheus y GPT4 💯

Construye tu propio motor de inferencia LLM de alto rendimiento en C++ y CUDA: una versión más pequeña de vLLM.

Framework de entrenamiento de aprendizaje por refuerzo multimodal para modelos de difusión y omnimodales

UniRL es un framework para el aprendizaje por refuerzo de modelos multimodales unificados.

Notas sobre LLM, incluyendo inferencia de modelos, estructura de modelos transformer y análisis de código de frameworks de LLM.

Una hoja de ruta de 10 semanas, 30 minutos al día, para la inferencia y optimización de LLM. Incluye vLLM, SGLang, cuantización, decodificación especulativa y benchmarking.

Software de OCR local, portátil y sin conexión (tras la configuración inicial) que puede procesar imágenes y archivos PDF utilizando la IA DeepSeek-OCR-2 (ejecutándose directamente en tu máquina).

Documentación integral para configurar tu propio servidor LLM local y totalmente privado en Debian. Equipado con chat, búsqueda web, RAG, gestión de modelos, servidores MCP, generación de imágenes y TTS.

Convierte Discord en tu frontend de LLM - Soporta cualquier API compatible con OpenAI (OpenRouter, Ollama y más).

Biblioteca de Python impulsada por modelos de lenguaje (LLM) para el descubrimiento y análisis de datos conversacionales.

[EMNLP 2024 & AAAI 2026] Un potente kit de herramientas para comprimir modelos grandes, incluyendo LLMs, VLMs y modelos generativos de video.

Motor de inferencia LLM en Rust puro + CUDA; sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

Simulador preciso, escalable y extensible para sistemas de inferencia de LLM

EfficientSAM3 comprime SAM3 en modelos ligeros y aptos para dispositivos de borde mediante destilación de conocimiento progresiva para una segmentación y seguimiento rápido de conceptos mediante prompts.

Servicio de síntesis de voz y clonación de voz en chino de alta calidad, basado en modelos como SparkTTS y OrpheusTTS.

[CVPR 2025] RoboBrain: un modelo cerebral unificado para la manipulación robótica, desde lo abstracto hasta lo concreto. Repositorio oficial.

Crater es una plataforma nativa de la nube para entrenamiento e inferencia de IA.

Una interfaz web moderna para gestionar e interactuar con servidores vLLM (www.github.com/vllm-project/vllm). Soporta modos GPU y CPU, con optimizaciones especiales para Apple Silicon en macOS y despliegue empresarial en OpenShift/Kubernetes.

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

Una herramienta de interfaz de línea de comandos para servir LLMs usando vLLM.