gguf

Cientos de modelos y proveedores. Un solo comando para encontrar lo que se ejecuta en tu hardware.

Distribuye y ejecuta LLMs con un solo archivo.

⚡ Motor de inferencia WebGPU en Rust puro: compatible con la API de OpenAI, nativo de GGUF, se ejecuta en cualquier GPU. Sin Python. Sin llama.cpp. Binario único.

Ajusta LLMs desde un solo YAML. El streaming de capas entrena un modelo de 8B en una GPU de laptop de 4 GB.

La navaja suiza de la IA sin conexión. Chatea, visualiza, habla y genera imágenes en tu teléfono o Mac: LLMs GGUF, visión, conversión de voz a texto con Whisper, Stable Diffusion, llamadas a herramientas y servidores de red local. Se ejecuta en tu CPU, GPU o NPU. Sin cuentas, sin clave de API y cero datos abandonan tu dispositivo.

Maid es una aplicación gratuita y de código abierto para interactuar con modelos de llama.cpp localmente, y con modelos de Anthropic, DeepSeek, Ollama, Mistral y OpenAI de forma remota.

Aprende Ollama de forma práctica, despliegue de grandes modelos en CPU. Dirección de lectura en línea: https://datawhalechina.github.io/handy-ollama/

Agente de IA Local First. Optimizado para modelos de IA locales. Ventana de contexto largo. Llamadas a herramientas adecuadas. Se ejecuta de forma privada en tu dispositivo.

Framework de agentes LLM en ComfyUI que incluye servidor MCP, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 y nodos de prompts para FLUX, acceso a Feishu, Discord, y se adapta a todos los LLM con interfaces similares a OpenAI / aisuite, como o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Adaptado a LLM locales, VLM, GGUF como llama-3.3 Janus-Pro, Linkage graphRAG

Ejecuta modelos de IA localmente en tu máquina con enlaces de node.js para llama.cpp. Aplica un esquema JSON en la salida del modelo a nivel de generación

Inferencia de voz a texto con ggml para más de 16 familias de modelos

Gestiona tus modelos de Ollama.

Un algoritmo de cuantización SOTA para inferencia de LLM de bajo bit y alta precisión, optimizado para CPU/XPU/CUDA, con soporte para múltiples tipos de datos y compatibilidad total con vLLM, SGLang y Transformers.

Familia de modelos ASR de código abierto basados en LLM para chino, dialectos, acentos y voz multilingüe, con motores de ejecución como FunASR, vLLM, streaming y llama.cpp.

Interfaz para modelos OuteTTS.

Aplicación de IA local y motor de inferencia para agentes. Ejecuta LLMs de pesos abiertos localmente: privado, 100% sin conexión en tu computadora. Únete a nuestro Discord: https://discord.com/invite/8wGSsvmg4V

Una herramienta DevOps de código abierto de la CNCF para empaquetar y versionar modelos de IA/ML, conjuntos de datos, código y configuraciones en un artefacto OCI.

Estudio de IA local plug-and-play: chat sin censura, generación de imágenes y video, y agente de programación. Ejecuta LLM abliterados y ComfyUI 100% offline. Un solo instalador, sin Docker, sin nube.

Servidor de inferencia LLM nativo para Apple Silicon. Compatible con la API de OpenAI y Anthropic. Sin Python. Incluye la aplicación MLX Core para macOS con chat, modo agente y llamada a herramientas.

Una CLI escrita en Python para estimar los requisitos de memoria de inferencia de los modelos de Hugging Face.

LLM.swift es una biblioteca simple y legible que permite interactuar fácilmente con modelos de lenguaje grandes de forma local en macOS, iOS, watchOS, tvOS y visionOS.

Inferencia de Llama 3+ en Java puro.

La suite de IA del lado del cliente más avanzada y completamente offline disponible hoy en Android.

Herramienta de traducción de pantalla en tiempo real para Android sin necesidad de ROOT, ideal para juegos, novelas visuales y manga. Soporta OCR local y en la nube, LLM offline, múltiples servicios de traducción y síntesis de voz (TTS), con visualización directa sobre la pantalla.

Go con inteligencia propia: aplicaciones en Go que integran directamente llama.cpp para inferencia local mediante aceleración por hardware.

Nodos de ComfyUI para modelos de lenguaje visual: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Incluye detección de vocabulario abierto, segmentación SAM2/SAM3, razonamiento temporal de video, GGUF mediante llama.cpp y APIs de LLM/VLM alojadas.

Biblioteca de Go para búsqueda vectorial integrada e incrustaciones semánticas usando llama.cpp

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Arabic-first generative speech recognition — Audar-ASR-V1 (Flash + Turbo). #1 on the Open Universal Arabic ASR Leaderboard. Model cards, benchmarks & inference.