llama-cpp

Distribuye y ejecuta LLMs con un solo archivo.

La aplicación de dictado para macOS más rápida y única con STT en el dispositivo y modelo de mejora de IA entrenado a medida. ¡Compilación previa para Windows disponible! Una alternativa local a Wispr Flow. Envíanos un DM en X para un huevo de pascua 😉 - https://x.com/fluidvoiceapp

Un chatbot autohospedado, sin conexión, similar a ChatGPT. Impulsado por Llama 2. 100% privado, sin que los datos salgan de tu dispositivo. Nuevo: ¡Compatibilidad con Code Llama!

Intercambia GPT por cualquier LLM cambiando una sola línea de código. Xinference te permite ejecutar modelos de código abierto, de voz y multimodales en la nube, localmente o en tu laptop, todo a través de una API de inferencia unificada y lista para producción.

Modelo de código abierto SenseVoiceSmall para ASR en mandarín, cantonés, inglés, japonés y coreano, identificación de idiomas, reconocimiento de emociones y detección de eventos de audio.

Convierte tu PC, Mac o equipo Linux en un servidor de IA. Inferencia de LLM, interfaz de chat, voz, agentes, flujos de trabajo, RAG y generación de imágenes.

Una biblioteca de C#/.NET para ejecutar LLM (🦙LLaMA/LLaVA) en tu dispositivo local de manera eficiente.

Plataforma de habilidades de cámara de IA de código abierto, AI NVR y videovigilancia CCTV. Análisis de video local con VLM usando Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26. Agente de cámara de seguridad inteligente impulsado por LLM: observa, entiende, recuerda y protege su hogar a través de Telegram, Discord o Slack. Habilidades de IA acoplables. OpenAI, Google, Anthropic o IA local. Funciona en Mac Mini y AI PC.

La navaja suiza de la IA sin conexión. Chatea, visualiza, habla y genera imágenes en tu teléfono o Mac: LLMs GGUF, visión, conversión de voz a texto con Whisper, Stable Diffusion, llamadas a herramientas y servidores de red local. Se ejecuta en tu CPU, GPU o NPU. Sin cuentas, sin clave de API y cero datos abandonan tu dispositivo.

Servidor de inferencia especulativa de LLM para hardware heterogéneo y de consumo

Maid es una aplicación gratuita y de código abierto para interactuar con modelos de llama.cpp localmente, y con modelos de Anthropic, DeepSeek, Ollama, Mistral y OpenAI de forma remota.

Agente de IA Local First. Optimizado para modelos de IA locales. Ventana de contexto largo. Llamadas a herramientas adecuadas. Se ejecuta de forma privada en tu dispositivo.

Un framework de Python para llamadas a herramientas de LLM autohospedadas y flujos de trabajo de agentes de varios pasos

Ejecuta modelos de IA localmente en tu máquina con enlaces de node.js para llama.cpp. Aplica un esquema JSON en la salida del modelo a nivel de generación

¡Crea personajes en Unity con LLM!

Habla con tu Mac, consulta tus documentos, sin necesidad de la nube. IA de voz en el dispositivo + RAG.

Familia de modelos ASR de código abierto basados en LLM para chino, dialectos, acentos y voz multilingüe, con motores de ejecución como FunASR, vLLM, streaming y llama.cpp.

Un hogar acogedor para tus LLMs.

llama.go es como llama.cpp pero en Golang puro.

Binding de llama.cpp para React Native.

Construye y ejecuta agentes de IA usando Docker Compose. Una colección de ejemplos listos para usar para orquestar LLMs de código abierto, herramientas y entornos de ejecución de agentes.

Cotabby es un autocompletado con IA local para todo tu Mac. Código abierto. En el dispositivo. Dondequiera que escribas.

Monitor de sistema para Apple Silicon sin necesidad de sudo (GUI nativa en SwiftUI) con seguimiento de ANE, Media Engine y ancho de banda de memoria

Herramienta de traducción de pantalla en tiempo real para Android sin necesidad de ROOT, ideal para juegos, novelas visuales y manga. Soporta OCR local y en la nube, LLM offline, múltiples servicios de traducción y síntesis de voz (TTS), con visualización directa sobre la pantalla.

A minimalist, terminal-native coding agent written in C.

Entrevista de autoevaluación para programadores de IA.

Nodos de ComfyUI para modelos de lenguaje visual: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Incluye detección de vocabulario abierto, segmentación SAM2/SAM3, razonamiento temporal de video, GGUF mediante llama.cpp y APIs de LLM/VLM alojadas.

GraphRAG-rs es una implementación de alto rendimiento en Rust de GraphRAG (Generación Aumentada por Recuperación basada en grafos), que construye grafos de conocimiento a partir de documentos y permite consultas en lenguaje natural con extracción de entidades configurable e integración de LLM local.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp