inference-engine

✍🏻 Análisis profundos de código fuente, diseño de sistemas y blogs de ingeniería | Halfrost-Field: notas de análisis de código fuente, diseño de sistemas y prácticas de ingeniería

Un Kimi K3 de 2,78 billones de parámetros ejecutando inferencia en una sola CPU con 8,24 GB de RAM. C99 portátil: sin BLAS, sin framework, sin GPU.

FEDML: la biblioteca de ML unificada y escalable para entrenamiento distribuido a gran escala, servicio de modelos y aprendizaje federado. FEDML Launch, un programador multinube, permite además ejecutar cualquier tarea de IA en cualquier nube de GPU o clúster local. Basada en esta biblioteca, TensorOpera AI (https://TensorOpera.ai) es tu plataforma de IA generativa a escala.

¡Excelente proyecto para reclutamiento universitario, de otoño, de primavera y pasantías! Te guía para implementar desde cero una biblioteca de inferencia de aprendizaje profundo de alto rendimiento, compatible con la inferencia de modelos grandes como llama2, Unet, Yolov5, Resnet, etc.

Implementación de motor de reglas en Golang

OneDiff: Una biblioteca de aceleración lista para usar para modelos de difusión.

Motor de inferencia para LLM a gran escala

Velocidades 3 veces más rápidas en MLX | Qwen 3.8 27B | Decodificación especulativa MTP nativa en Apple Silicon sin necesidad de un borrador externo.

Un motor de inferencia de alto rendimiento para modelos LLM, VLM, DiT y REC, optimizado para diversos aceleradores de IA. Está alojado en la OpenAtom Foundation.

Qualcomm® AI Hub Models es nuestra colección de modelos de aprendizaje automático de última generación optimizados para el rendimiento (latencia, memoria, etc.) y listos para implementar en dispositivos Qualcomm®.

Caché KV elástica virtualizada para el uso compartido dinámico de GPU y más.

Paddle.js es un proyecto web para Baidu PaddlePaddle, un framework de aprendizaje profundo de código abierto que se ejecuta en el navegador. Paddle.js puede cargar modelos preentrenados o transformar modelos desde paddle-hub mediante herramientas de conversión. Funciona en cualquier navegador con soporte para WebGL, WebGPU o WebAssembly, además de ser compatible con Baidu Smartprogram y WX miniprogram.

NobodyWho es un motor de inferencia que permite ejecutar LLMs local y eficientemente en cualquier dispositivo.

MLX Studio - Hogar de JANG_Q - Generación/Edición de imágenes + Chat/Código todo en uno - + OpenClaw (API de Anthropic)

Un motor de aceleración de inferencia LLM altamente optimizado para Llama y sus variantes.

Framework de visión artificial y análisis de video en Python con todo incluido.

Motor de inferencia LLM en Rust puro + CUDA; sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

Decodificación de LLM hasta 4 veces más rápida en Apple Silicon, sin pérdida. Puerto nativo en MLX de DSpark de DeepSeek y DFlash de z-lab para decodificación especulativa: Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, Ornith-1.0, ternary Bonsai-27B.

Yet Another Language Model: inferencia de LLM en C++/CUDA, sin bibliotecas excepto para E/S

Una representación base común del código fuente de Python para pylint y otros proyectos

Proyecto ideal para contrataciones universitarias, de otoño, primavera y pasantías, que te guía en la implementación desde cero de un marco de inferencia de grandes modelos compatible con Llama2/3 y Qwen2.5.

De profesor a tiles: un motor de destilación y servicio de LLM creado desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo paged-KV, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.

Krasis es un entorno de ejecución de LLM híbrido que se centra en la ejecución eficiente de modelos grandes en hardware de consumo con VRAM limitada.

Motor de inferencia para dispositivos Intel. Sirve modelos LLM, VLM, Whisper, Kokoro-TTS, Embedding y Rerank a través de endpoints de OpenAI.