llm-inference

Inferencia de Llama 3+ en Java puro.

LeaderWorkerSet: Una API para desplegar un grupo de pods como una unidad de replicación.

LLM-PowerHouse: Libere el potencial de los LLM a través de tutoriales seleccionados, mejores prácticas y código listo para usar para entrenamiento e inferencia personalizados.

LLMFlows: aplicaciones LLM simples, explícitas y transparentes.

USP: Atención paralela de secuencia unificada (híbrida, 2D) para entrenamiento e inferencia de modelos Transformers de contexto largo

Motor de inferencia en Rust puro

Motor de inferencia LLM en Rust puro + CUDA; sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

Decodificación de LLM hasta 4 veces más rápida en Apple Silicon, sin pérdida. Puerto nativo en MLX de DSpark de DeepSeek y DFlash de z-lab para decodificación especulativa: Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, Ornith-1.0, ternary Bonsai-27B.

Motor de inferencia LLM nativo de RDNA en Rust.

Alternativa a Ollama para Rockchip NPU: Una solución eficiente para ejecutar modelos de IA y aprendizaje profundo en dispositivos Rockchip con soporte optimizado para NPU (rkllm)

Yet Another Language Model: inferencia de LLM en C++/CUDA, sin bibliotecas excepto para E/S

SDK de IA local de código abierto: ejecute IA en el dispositivo sin nube ni claves API. Soporta GGUF, RAG, generación de imágenes, música y video, voz a texto, inferencia P2P y más. Multiplataforma: Linux, macOS, Windows, Android, iOS.

Plataforma de búsqueda web minimalista con un asistente de IA que se ejecuta directamente desde el navegador. Demo: https://felladrin-minisearch.hf.space

CLI para ejecutar un gran número de agentes de codificación en paralelo utilizando git worktrees.

Ajuste fino de LLM (Modelos de Lenguaje Grande)

Asistente de IA local

Proyecto ideal para contrataciones universitarias, de otoño, primavera y pasantías, que te guía en la implementación desde cero de un marco de inferencia de grandes modelos compatible con Llama2/3 y Qwen2.5.

Motor de inferencia estático, minimalista y solo para CUDA de qwen3-0.6B.

Un motor de servicio de baja latencia y alto rendimiento para LLMs.

Krasis es un entorno de ejecución de LLM híbrido que se centra en la ejecución eficiente de modelos grandes en hardware de consumo con VRAM limitada.

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

Una herramienta de interfaz de línea de comandos para servir LLMs usando vLLM.