on-device-ai

Kit de ferramentas pronto para produção para executar IA localmente.

Modelo de fundação de 14MB para dispositivos pequenos: celulares, wearables, casas inteligentes e robôs.

Execute LLMs e VLMs de ponta localmente em dispositivos Qualcomm via NPU, GPU e CPU com poucas linhas de código

Inferência do Gemma 4 26B-A4B em ~2 GB de RAM em qualquer MacBook com chip série M

LiteRT-LM é o framework de inferência de alto desempenho, pronto para produção e de código aberto do Google para implantar Grandes Modelos de Linguagem em dispositivos de borda.

Quantização, kernels, runtime e motor de inferência para dispositivos móveis, wearables, casas inteligentes e robôs.

IA que você controla: Escolha seus modelos. Seja dono dos seus dados. Elimine a dependência de fornecedores.

Ferramenta de gerenciamento de arquivos baseada em IA que garante privacidade ao organizar textos e imagens locais. Utiliza modelos Llama3.2 3B e Llava v1.6 com o Nexa SDK para escanear, reestruturar e organizar arquivos de forma intuitiva para acesso rápido e fácil recuperação.

Execute o Claude Code 100% no dispositivo com IA local em Apple Silicon. Servidor Anthropic-API nativo em MLX. 6 modelos incluindo Muse-Glimmer 30B (agora multimodal — lê imagens, abliterated), Gemma 4 31B, Qwen 3.5 122B (65 tok/s), DeepSeek V4 Flash (1M ctx). Privado, offline, pronto para airgap. Construído para fluxos de trabalho de NDA / jurídico / saúde.

Mano-P: Agente GUI-VLA de código aberto para dispositivos de borda. #1 no OSWorld (especializado, 58,2%). Executa localmente em Apple M4 Mac mini/MacBook — nenhum dado sai do seu dispositivo.

IA multimodal em tempo real executada no dispositivo, com recursos semelhantes ao GPT-Live.

Repositório de modelos Core ML para iOS/macOS — modelos PyTorch convertidos para .mlpackage prontos para uso, cada um com um script de conversão e um aplicativo de exemplo em SwiftUI. Repositórios irmãos cobrem o framework Core AI da Apple (iOS/macOS 27) e LLMs on-device.

Maneira declarativa de executar modelos de IA no React Native localmente, utilizando o ExecuTorch.

Fale com seu Mac, consulte seus documentos, sem necessidade de nuvem. IA de voz e RAG executados localmente no dispositivo.

[ICLR 2019] ProxylessNAS: Busca direta de arquitetura neural em tarefas e hardware de destino

Faça o fine-tuning de LLMs no seu Mac com Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding e fine-tuning de OCR — nativamente no MLX. API compatível com Unsloth.

Execução de LLM no dispositivo em React Native com compatibilidade com o Vercel AI SDK

O PhoneClaw transforma telefones em runtimes de agentes de IA locais com modelos no dispositivo, Skills nativas para dispositivos móveis, LiveLand e inferência opcional via Mac Gateway.

Um laboratório prático para construir, testar e avaliar aplicativos com o framework de modelos de fundação da Apple.

Implementação oficial em PyTorch de "EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM".

NativeMind: Seu assistente de IA totalmente privado, de código aberto e executado no dispositivo

NobodyWho é um mecanismo de inferência que permite executar LLMs localmente e de forma eficiente em qualquer dispositivo.

Muesli - transcrição e ditado local de reuniões nativo para agentes no macOS (alternativa ao Granola + WisprFlow)

PokeClaw (PocketClaw) — a primeira IA executada no próprio dispositivo que controla seu telefone Android. Gemma 4, sem nuvem, sem chave de API. Poke é abreviação de Pocket.

[CVPR 2025] Implementação oficial em PyTorch de "EdgeTAM: On-Device Track Anything Model"

TinyChatEngine: Biblioteca de inferência de LLM em dispositivos

Assistente de IA local-first e de código aberto para seus dados. Unifique tarefas, notas, documentos, fotos e favoritos. Privado, auto-hospedado e extensível via APIs.

Monitor de sistema Apple Silicon sem necessidade de sudo (interface gráfica nativa em SwiftUI) com rastreamento de ANE / Media Engine / largura de banda de memória

Modelos Whisper otimizados para streaming e uso em dispositivos

Camada de memória de arquivo único compartilhada para todos os seus agentes, RAG sub-milissegundo sobre texto, foto e vídeo no Apple Silicon. Sem servidor. Sem API. Um arquivo. Swift puro.