llm-inference

GPT4All: ejecute LLMs locales en cualquier dispositivo. De código abierto y disponible para uso comercial.

Ray es un motor de cómputo para IA. Consta de un entorno de ejecución distribuido central y un conjunto de librerías de IA para acelerar las cargas de trabajo de ML.

Encuentra secretos con Gitleaks 🔑

Este proyecto tiene como objetivo compartir principios tecnológicos y experiencias prácticas relacionados con modelos grandes (ingeniería de LLM, implementación de aplicaciones de LLM).

Más de 20 LLMs de alto rendimiento con recetas para preentrenar, ajustar y desplegar a escala.

Ejecuta cualquier LLM de código abierto, como DeepSeek y Llama, como un endpoint de API compatible con OpenAI en la nube.

OpenVINO™ es un kit de herramientas de código abierto para optimizar y desplegar inferencia de IA

Servicio de modelos de lenguaje grandes de alta velocidad para implementación local

La forma más sencilla de servir aplicaciones y modelos de IA: ¡crea APIs de inferencia de modelos, colas de trabajos, aplicaciones LLM, pipelines de múltiples modelos y más!

LMDeploy es un conjunto de herramientas para comprimir, desplegar y servir LLMs.

Un framework de servicio de inferencia distribuida a escala de centro de datos

Implementación de código abierto de AlphaEvolve

Un Kimi K3 de 2,78 billones de parámetros ejecutando inferencia en una sola CPU con 8,24 GB de RAM. C99 portátil: sin BLAS, sin framework, sin GPU.

Plano es un servidor proxy nativo de IA y plano de datos para aplicaciones agénticas. Enrutamiento inteligente de LLM, observabilidad, orquestación de agentes y barreras de seguridad para que te concentres en la lógica central de tus agentes.

Inferencia de Gemma 4 26B-A4B en ~2 GB de RAM en cualquier MacBook con chip de la serie M

FlashInfer: Biblioteca de kernels para servir LLM

Cuantización, núcleos, entorno de ejecución y motor de inferencia para dispositivos móviles, wearables, hogares inteligentes y robots.

Plataforma de inferencia de IA generativa y predictiva distribuida estandarizada para despliegue escalable y multi-framework en Kubernetes

⚡ Motor de inferencia WebGPU en Rust puro: compatible con la API de OpenAI, nativo de GGUF, se ejecuta en cualquier GPU. Sin Python. Sin llama.cpp. Binario único.

Un administrador de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU accesibles por SSH bajo demanda.

Lemonade ayuda a los usuarios a descubrir y ejecutar aplicaciones de IA locales sirviendo LLMs optimizados directamente desde sus propias GPU y NPU. Únete a nuestro discord: https://discord.gg/5xXzkMu8Zk

📚 Una lista seleccionada de los mejores artículos de inferencia LLM/VLM con código: Flash-Attention, Paged-Attention, WINT8/4, paralelismo, etc. 🎉

Superduper: marco de trabajo integral para construir aplicaciones y agentes de IA personalizados.

Eko (Eko Keeps Operating) - Crea flujos de trabajo de agentes listos para producción con lenguaje natural - eko.fellou.ai

RuVector es una base de datos de memoria Vector GNN, IA de autoaprendizaje en tiempo real y de alto rendimiento, construida en Rust.

Optimización del proxy de inferencia para LLMs

Flujos de trabajo de referencia de IA generativa optimizados para infraestructura acelerada y arquitectura de microservicios.

Servidor de inferencia multi-LoRA que se escala a miles de LLM ajustados

Una colección de métodos científicos, procesos, algoritmos y sistemas para construir historias y modelos.

Agrega un nodo de análisis en tiempo real a tu base de datos operacional. Spice es un motor portátil y acelerado de consultas SQL, búsquedas y inferencia de LLM en Rust para aplicaciones y agentes de IA basados en datos.