gguf

Centenas de modelos e provedores. Um único comando para descobrir o que roda no seu hardware.

Distribua e execute LLMs com um único arquivo.

⚡ Mecanismo de inferência WebGPU em Rust puro — compatível com a API da OpenAI, nativo em GGUF, roda em qualquer GPU. Sem Python. Sem llama.cpp. Binário único.

Ajuste fino de LLMs a partir de um único YAML. O streaming de camadas treina um modelo de 8B em uma GPU de laptop de 4 GB.

O canivete suíço da IA offline. Converse, veja, fale e gere imagens no seu celular ou Mac — LLMs GGUF, visão, transcrição de fala Whisper, Stable Diffusion, chamadas de ferramentas e servidores de rede local. Executa na sua CPU, GPU ou NPU. Sem conta, sem chave de API, nenhum dado sai do seu dispositivo.

Maid é um aplicativo gratuito e de código aberto para interagir com modelos llama.cpp localmente, e com modelos Anthropic, DeepSeek, Ollama, Mistral e OpenAI remotamente.

Aprenda a usar o Ollama, execute a implantação de grandes modelos de linguagem (LLMs) via CPU. Leitura online: https://datawhalechina.github.io/handy-ollama/

Agente de IA Local-First. Otimizado para modelos de IA locais. Janela de contexto longa. Chamadas de ferramentas adequadas. Executa privadamente no seu dispositivo.

Framework de agentes LLM no ComfyUI, incluindo servidor MCP, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 e nós de prompt FLUX, com acesso a Feishu e Discord, adaptando-se a todos os LLMs com interfaces similares à da OpenAI/aisuite, como o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi e doubao. Adaptado para LLMs locais, VLM e GGUF, como llama-3.3, Janus-Pro e Linkage graphRAG.

Execute modelos de IA localmente em sua máquina com bindings de Node.js para llama.cpp. Aplique um esquema JSON na saída do modelo no nível de geração.

Inferência de fala para texto ggml para mais de 16 famílias de modelos

Gerencie seus modelos Ollama

Um algoritmo de quantização SOTA para inferência de LLM de baixo bit e alta precisão, otimizado para CPU/XPU/CUDA, com suporte a múltiplos tipos de dados e compatibilidade total com vLLM, SGLang e Transformers.

Família de modelos ASR de código aberto baseados em LLM para chinês, dialetos, sotaques e fala multilíngue, com runtimes FunASR, vLLM, streaming e llama.cpp.

Interface para modelos OuteTTS.

Aplicativo de IA local e motor de inferência para agentes. Execute LLMs de pesos abertos localmente — privado, 100% offline no seu computador. Entre no nosso Discord: https://discord.com/invite/8wGSsvmg4V

Uma ferramenta DevOps de código aberto da CNCF para empacotar e versionar modelos de IA/ML, conjuntos de dados, código e configurações em um OCI Artifact.

Estúdio de IA local plug-and-play: chat sem censura, geração de imagens e vídeos, agente de código. Executa LLMs deslimitados + ComfyUI 100% offline. Um instalador, sem Docker, sem nuvem.

Servidor de inferência LLM nativo para Apple Silicon. Compatível com a API da OpenAI e Anthropic. Sem Python. Inclui o aplicativo MLX Core para macOS com chat, modo agente e chamada de ferramentas.

Uma CLI para estimar os requisitos de memória de inferência para modelos do Hugging Face, escrita em Python.

LLM.swift é uma biblioteca simples e legível que permite interagir facilmente com grandes modelos de linguagem localmente em macOS, iOS, watchOS, tvOS e visionOS.

Inferência do Llama 3+ em puro Java

A suíte de IA client-side mais avançada e totalmente offline no Android atualmente.

Ferramenta de tradução de tela em tempo real para Android de código aberto e sem root, ideal para jogos, romances visuais e mangás. Suporta OCR local e em nuvem, LLMs offline, vários serviços de tradução e conversão de texto em fala (TTS), com traduções exibidas diretamente na tela.

Vá com sua própria inteligência - Aplicativos Go que integram diretamente o llama.cpp para inferência local usando aceleração de hardware.

Nós do ComfyUI para modelos de visão-linguagem: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Inclui detecção de vocabulário aberto, segmentação SAM2/SAM3, raciocínio temporal de vídeo, GGUF via llama.cpp e APIs de LLM/VLM hospedadas.

Biblioteca Go para busca vetorial incorporada e embeddings semânticos usando llama.cpp

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Arabic-first generative speech recognition — Audar-ASR-V1 (Flash + Turbo). #1 on the Open Universal Arabic ASR Leaderboard. Model cards, benchmarks & inference.