on-device-ai

⚡ Servidor de inferência LLM nativo em MLX Swift para Apple Silicon. API compatível com OpenAI, streaming SSD para modelos MoE 100B+, compressão de cache KV TurboQuant, aplicativo para macOS e iOS iPhone.

Engine de IA de borda em C++ pronta para produção para análise de vídeo e VLM em dispositivos em Sophon, Rockchip RKNN e x86, com orquestração visual, OSD em tempo real, eventos e benchmarks reproduzíveis.

Editor de Método de Entrada (IME) para Android baseado no Whisper

Swiftlet é um runtime Swift e Metal que executa grandes modelos Qwen Mixture-of-Experts localmente em dispositivos Apple, transmitindo pesos de especialistas do armazenamento, permitindo que modelos de 35B e 80B rodem com pouca RAM, inclusive no iPhone.

SDK de IA local open-source - execute IA no dispositivo sem nuvem e sem chaves de API. Suporta GGUF, RAG, geração de imagem, música e vídeo, conversão de fala em texto, inferência P2P e muito mais. Multiplataforma: Linux, macOS, Windows, Android, iOS.

Motor Neural em Dispositivo

O PennyWise lê automaticamente mensagens SMS de transações e as transforma em dados financeiros organizados com assistência de IA no dispositivo. Sem entrada manual, sem processamento em nuvem, privacidade total.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Gere imagens localmente

Biblioteca de Detecção de Atividade de Voz (VAD) para Android. Suporta modelos WebRTC VAD GMM, Silero VAD DNN e Yamnet VAD DNN.