llm-inference

Inferencia de LLM distribuida. Conecte dispositivos domésticos en un clúster potente para acelerar la inferencia de LLM. Más dispositivos significan una inferencia más rápida.

Medusa: Un framework simple para acelerar la generación de LLM con múltiples cabezales de decodificación

Implementación oficial de EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) y EAGLE-3 (NeurIPS'25).

Un agente de codificación abierto para tu terminal, construido por un colectivo de la comunidad en lugar de una empresa. Trae tu propio modelo, mantén tu código en tu máquina y no le debes nada a nadie.

El framework agéntico del ecosistema PHP para construir aplicaciones impulsadas por IA listas para producción. Conecta componentes (LLMs, herramientas, bases de datos vectoriales, memoria) a agentes que interactúan con tus datos y UI.

AICI: Prompts como programas (Wasm)

Ejecute cualquier Llama 2 localmente con interfaz de usuario gradio en GPU o CPU desde cualquier lugar (Linux/Windows/Mac). Use `llama2-wrapper` como su backend local de llama2 para Generative Agents/Apps.

Inferencia de GPU serverless ultrarrápida, sandboxes y trabajos en segundo plano

Forma declarativa de ejecutar modelos de IA en React Native en el dispositivo, impulsada por ExecuTorch.

Plataforma de investigación de benchmarks de inferencia continua de código abierto — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 y próximamente™ TPUv6e/v7/Trainium2/3

Un motor de inferencia de alto rendimiento para modelos LLM, VLM, DiT y REC, optimizado para diversos aceleradores de IA. Está alojado en la OpenAtom Foundation.

Organización sin fines de lucro que fomenta la IA en India mediante créditos, subvenciones y recursos

Ejecuta LLMs locales como llama, deepseek-distill, kokoro y otros directamente en tu navegador.

Lista de software que permite realizar búsquedas en la web con asistencia de IA: https://hf.co/spaces/felladrin/awesome-ai-web-search

Aplicación de IA local y motor de inferencia para agentes. Ejecuta LLMs de pesos abiertos localmente: privado, 100% sin conexión en tu computadora. Únete a nuestro Discord: https://discord.com/invite/8wGSsvmg4V

Repositorio de "How To Scale Your Model", un libro de texto breve estilo blog sobre el escalado de LLMs en TPUs

Una colección curada de herramientas de pruebas de penetración y utilidades de productividad de primer nivel en múltiples dominios. ¡Únete para explorar, contribuir y mejorar tu kit de herramientas de hacking!

LLMs como copilotos para la demostración de teoremas en Lean

Caché KV elástica virtualizada para el uso compartido dinámico de GPU y más.

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Optimiza y simplifica el diseño de prompts tanto para desarrolladores como para usuarios no técnicos mediante un enfoque de bajo código.

Construye tu propio motor de inferencia LLM de alto rendimiento en C++ y CUDA: una versión más pequeña de vLLM.

OpenAlpha_Evolve es un framework de Python de código abierto inspirado en la investigación innovadora sobre agentes de codificación autónomos como AlphaEvolve de DeepMind.

AI-Compass guía a la comunidad a través del océano de la tecnología de IA, ofreciendo rutas para principiantes y desarrolladores avanzados. Su objetivo es ayudar a los desarrolladores a comprender sistemáticamente los conceptos centrales, las tecnologías principales y las tendencias de vanguardia de la IA, dominando el proceso desde la teoría hasta la implementación práctica.

Lista de servicios de hosting ordenados por el precio del plan mínimo

Implementación pura en C++ de varios modelos para chat en tiempo real en su computadora (CPU y GPU).

Un motor de aceleración de inferencia LLM altamente optimizado para Llama y sus variantes.

Notas sobre LLM, incluyendo inferencia de modelos, estructura de modelos transformer y análisis de código de frameworks de LLM.

Una hoja de ruta de 10 semanas, 30 minutos al día, para la inferencia y optimización de LLM. Incluye vLLM, SGLang, cuantización, decodificación especulativa y benchmarking.

LLM.swift es una biblioteca simple y legible que permite interactuar fácilmente con modelos de lenguaje grandes de forma local en macOS, iOS, watchOS, tvOS y visionOS.