llama-cpp

Distribua e execute LLMs com um único arquivo.

O aplicativo de ditado para macOS mais rápido e único, com STT no dispositivo e modelo de aprimoramento de IA treinado personalizado. Versão pré-compilada para Windows disponível! Uma alternativa local ao Wispr Flow. Envie uma DM no X para um easter egg 😉 - https://x.com/fluidvoiceapp

Um chatbot estilo ChatGPT auto-hospedado e offline. Desenvolvido com Llama 2. 100% privado, sem que nenhum dado deixe o seu dispositivo. Novo: Suporte a Code Llama!

Troque o GPT por qualquer LLM alterando apenas uma linha de código. O Xinference permite executar modelos de código aberto, de fala e multimodais na nuvem, localmente ou no seu laptop — tudo através de uma API de inferência unificada e pronta para produção.

Modelo SenseVoiceSmall de código aberto para ASR em mandarim, cantonês, inglês, japonês e coreano, identificação de idioma, reconhecimento de emoção e detecção de eventos de áudio.

Transforme seu PC, Mac ou Linux em um servidor de IA. Inferência de LLM, interface de chat, voz, agentes, fluxos de trabalho, RAG e geração de imagens.

Uma biblioteca C#/.NET para executar LLM (🦙LLaMA/LLaVA) no seu dispositivo local com eficiência.

Plataforma de habilidades de câmera com IA de código aberto, NVR de IA e vigilância por CFTV. Análise de vídeo VLM local com Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26. Agente de câmera de segurança baseado em LLM — observa, entende, lembra e protege sua casa via Telegram, Discord ou Slack. Habilidades de IA conectáveis. OpenAI, Google, Anthropic ou IA local. Executa em Mac Mini e PCs com IA.

O canivete suíço da IA offline. Converse, veja, fale e gere imagens no seu celular ou Mac — LLMs GGUF, visão, transcrição de fala Whisper, Stable Diffusion, chamadas de ferramentas e servidores de rede local. Executa na sua CPU, GPU ou NPU. Sem conta, sem chave de API, nenhum dado sai do seu dispositivo.

Servidor de inferência especulativa de LLM para hardware de consumo e heterogêneo

Maid é um aplicativo gratuito e de código aberto para interagir com modelos llama.cpp localmente, e com modelos Anthropic, DeepSeek, Ollama, Mistral e OpenAI remotamente.

Agente de IA Local-First. Otimizado para modelos de IA locais. Janela de contexto longa. Chamadas de ferramentas adequadas. Executa privadamente no seu dispositivo.

Um framework Python para chamadas de ferramentas LLM auto-hospedadas e fluxos de trabalho de agentes em várias etapas.

Execute modelos de IA localmente em sua máquina com bindings de Node.js para llama.cpp. Aplique um esquema JSON na saída do modelo no nível de geração.

Crie personagens no Unity com LLMs!

Fale com seu Mac, consulte seus documentos, sem necessidade de nuvem. IA de voz e RAG executados localmente no dispositivo.

Família de modelos ASR de código aberto baseados em LLM para chinês, dialetos, sotaques e fala multilíngue, com runtimes FunASR, vLLM, streaming e llama.cpp.

Um lar aconchegante para seus LLMs.

llama.go é como o llama.cpp em Golang puro!

Binding para React Native do llama.cpp

Construa e execute agentes de IA usando Docker Compose. Uma coleção de exemplos prontos para uso para orquestrar LLMs de código aberto, ferramentas e runtimes de agentes.

Cotabby é o autocompletar de IA local para todo o seu Mac. Código aberto. No dispositivo. Em tudo o que você digita.

Monitor de sistema Apple Silicon sem necessidade de sudo (interface gráfica nativa em SwiftUI) com rastreamento de ANE / Media Engine / largura de banda de memória

Ferramenta de tradução de tela em tempo real para Android de código aberto e sem root, ideal para jogos, romances visuais e mangás. Suporta OCR local e em nuvem, LLMs offline, vários serviços de tradução e conversão de texto em fala (TTS), com traduções exibidas diretamente na tela.

A minimalist, terminal-native coding agent written in C.

Entrevista autoavaliada para codificadores de IA

Nós do ComfyUI para modelos de visão-linguagem: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Inclui detecção de vocabulário aberto, segmentação SAM2/SAM3, raciocínio temporal de vídeo, GGUF via llama.cpp e APIs de LLM/VLM hospedadas.

GraphRAG-rs é uma implementação em Rust de alto desempenho e de última geração do GraphRAG (Graph-based Retrieval Augmented Generation) que constrói grafos de conhecimento a partir de documentos e permite consultas em linguagem natural com extração de entidades configurável e integração de LLM local

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp