local-llm

Framework de agente de IA pessoal ultraleve, de código aberto e auto-hospedado em Python com WebUI, ferramentas, memória, MCP, fluxos de trabalho multiagente, automação e aplicativos de chat

Distribua e execute LLMs com um único arquivo.

~95% no SimpleQA (ex: Qwen3.6-27B em uma 3090). Suporta todos os LLMs locais e em nuvem (llama.cpp, Ollama, Google, ...). Mais de 10 mecanismos de busca - arXiv, PubMed, seus documentos privados. Tudo local e criptografado.

Framework de orquestração de agentes de IA em TypeScript com fluxos de trabalho dinâmicos. Descreva o objetivo, não o grafo: um coordenador planeja o DAG de tarefas em tempo de execução e o executa em qualquer LLM (Claude, ChatGPT, Gemini, DeepSeek ou modelos locais).

Plataforma de voz AI de código aberto. Alternativa auto-hospedada ao Vapi e Retell. On-prem, BYOK para Speech to Speech ou LLM/STT/TTS, com construtor visual de fluxo de trabalho, suporte nativo a MCP e telefonia.

IA de saúde local: NER clínico e desidentificação de PII HIPAA que roda 100% no dispositivo. Mais de 2.200 modelos médicos, 21 idiomas, Apple MLX + Python, sem nuvem, sem que dados de pacientes saiam da sua rede. Apache-2.0

Ajuste fino de LLMs a partir de um único YAML. O streaming de camadas treina um modelo de 8B em uma GPU de laptop de 4 GB.

Explore LLMs com Programação Multi-Agente

O mecanismo de IA local mais rápido para Apple Silicon. 4,2x mais rápido que o Ollama, TTFT em cache de 0,08s, suporte total a chamadas de ferramentas (100% tool calling). 17 analisadores de ferramentas, cache de prompts, separação de raciocínio, roteamento em nuvem. Substituto direto da API OpenAI. Funciona com Claude Code, Cursor e Aider.

Cadernos de IA pessoais. Organize arquivos e páginas da web e gere notas a partir deles. Código aberto, dados locais e abertos, escolha de modelo aberta (incluindo local).

Execute o Claude Code 100% no dispositivo com IA local em Apple Silicon. Servidor Anthropic-API nativo em MLX. 6 modelos incluindo Muse-Glimmer 30B (agora multimodal — lê imagens, abliterated), Gemma 4 31B, Qwen 3.5 122B (65 tok/s), DeepSeek V4 Flash (1M ctx). Privado, offline, pronto para airgap. Construído para fluxos de trabalho de NDA / jurídico / saúde.

Servidor web pequeno e autônomo em Go puro com suporte a Lua, Teal, Markdown, HTTP/2, QUIC, Redis, TypeScript, React 19 sem npm, SQLite e PostgreSQL, entre outros.

Uma lista curada de plataformas, ferramentas, práticas e recursos incríveis que ajudam a executar LLMs localmente

Um harness otimizado para LLMs menores.

Agente de IA Local-First. Otimizado para modelos de IA locais. Janela de contexto longa. Chamadas de ferramentas adequadas. Executa privadamente no seu dispositivo.

Traduza livros e documentos completos com Ollama, OpenAI (compatível), Gemini, Mistral, Poe ou OpenRouter. Preserva a formatação. Retoma de onde parou. Sem limites de tamanho de arquivo.

Endpoint de API de conversão de texto em fala gratuito e de alta qualidade para substituir OpenAI, Azure ou ElevenLabs

IA multimodal em tempo real executada no dispositivo, com recursos semelhantes ao GPT-Live.

Servidor de inferência LLM de alto desempenho compatível com OpenAI e Anthropic para Apple Silicon. MLX nativo, processamento contínuo, modelos multimodais, chamada de ferramentas MCP e suporte ao Claude Code.

Row-Bot - Soberania de IA pessoal. Um assistente de IA local-first com ferramentas integradas, grafo de conhecimento pessoal, voz, visão, shell, automação de navegador, tarefas agendadas, monitoramento de saúde e canais de mensagens. Execute localmente via Ollama ou adicione modelos em nuvem opcionais. Seus dados permanecem na sua máquina.

Aplicativo de IA local e motor de inferência para agentes. Execute LLMs de pesos abertos localmente — privado, 100% offline no seu computador. Entre no nosso Discord: https://discord.com/invite/8wGSsvmg4V

Faça o fine-tuning de LLMs no seu Mac com Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding e fine-tuning de OCR — nativamente no MLX. API compatível com Unsloth.

Estúdio de IA local plug-and-play: chat sem censura, geração de imagens e vídeos, agente de código. Executa LLMs deslimitados + ComfyUI 100% offline. Um instalador, sem Docker, sem nuvem.

🌌 Dê alma aos seus personagens favoritos. Soul of Waifu é um aplicativo de desktop para RPG e companhia de IA com avatares Live2D/VRM, chat de voz e LLM local. Evoluam juntos através de chats imersivos, aventuras de RPG e sua área de trabalho.

Ouroboros — agente de IA autoconstrutivo. Criado em 16 de fevereiro de 2026.

WUPHF permite criar seu escritório pessoal de colegas de IA que colaboram através de contexto compartilhado. Suporta Claude Code, Codex, OpenClaw, OpenCode e LLMs locais.

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Um servidor MCP de busca web simples e hospedado localmente para uso com LLMs locais

Synthadoc: Um motor de compilação de conhecimento LLM de código aberto que transforma documentos brutos em wikis estruturadas e locais. Uma alternativa transparente e legível por humanos ao RAG tradicional, que pode ser autogerenciada e autoaprimorada sem o uso de ferramentas externas.

Servidor de inferência LLM nativo para Apple Silicon. Compatível com a API da OpenAI e Anthropic. Sem Python. Inclui o aplicativo MLX Core para macOS com chat, modo agente e chamada de ferramentas.