edge-ai

Servidor de alto desempenho para o NATS.io, o sistema de mensageria nativo para nuvem e edge.

Implementação em PyTorch do YOLOv3, YOLOv3-SPP e YOLOv3-tiny para detecção de objetos em tempo real, com treinamento, validação, inferência e exportação em múltiplos formatos.

LiteRT-LM é o framework de inferência de alto desempenho, pronto para produção e de código aberto do Google para implantar Grandes Modelos de Linguagem em dispositivos de borda.

Quantização, kernels, runtime e motor de inferência para dispositivos móveis, wearables, casas inteligentes e robôs.

Sistema operacional de nuvem pessoal de código aberto para agentes sempre ativos.

FEDML - A biblioteca de ML unificada e escalável para treinamento distribuído em larga escala, serviço de modelos e aprendizado federado. O FEDML Launch, um agendador cross-cloud, permite executar qualquer trabalho de IA em qualquer nuvem de GPU ou cluster local. Construída sobre esta biblioteca, a TensorOpera AI (https://TensorOpera.ai) é sua plataforma de IA generativa em escala.

O canivete suíço da IA offline. Converse, veja, fale e gere imagens no seu celular ou Mac — LLMs GGUF, visão, transcrição de fala Whisper, Stable Diffusion, chamadas de ferramentas e servidores de rede local. Executa na sua CPU, GPU ou NPU. Sem conta, sem chave de API, nenhum dado sai do seu dispositivo.

Um motor de inferência tudo-em-um em C++ puro para modelos de áudio, alimentado por ggml. Suporta TTS, STT, VAD, conversão de voz, geração de música e mais, com desempenho altamente otimizado. Sem dependência de Python.

MicroPython para K210 RISC-V, facilite o uso de Edge AI

Microsoft AI for Good Lab — Hub de pesquisa de biodiversidade. Modelos de IA de código aberto, dispositivos de borda e ferramentas para monitoramento e conservação da biodiversidade. Sua fonte para MegaDetector, SPARROW, PytorchWildlife, Bioacoustics e muito mais.

DefraDB é um banco de dados Peer-to-Peer com foco em Edge. É o principal sistema de armazenamento de dados para o Source Ecosystem.

Protótipo de LLM local para Android 17 com Jetpack Compose e ONNX Runtime para experimentos de inferência de IA offline.

Crie facilmente projetos de IA com Python em dispositivos de borda

Assistente de voz em tempo real — streaming WebRTC, ASR faster-whisper, LLM local, TTS Vui Nano (300M). Compatível com a API Realtime da OpenAI. Clonagem de voz, interrupção (barge-in), ~9× em tempo real em uma 4090. Apache 2.0.

O Hailo Model Zoo inclui modelos pré-treinados e um ambiente completo de construção e avaliação.

Framework de benchmark para conversão de fala em texto.

O EfficientSAM3 comprime o SAM3 em modelos leves e adequados para borda por meio de destilação de conhecimento progressiva para segmentação e rastreamento de conceitos rápidos e prontos para comandos.

Engine de IA de borda em C++ pronta para produção para análise de vídeo e VLM em dispositivos em Sophon, Rockchip RKNN e x86, com orquestração visual, OSD em tempo real, eventos e benchmarks reproduzíveis.

O AI-in-a-Box aproveita a experiência global da Microsoft para desenvolver e fornecer soluções de IA e ML para a comunidade técnica. Nossa intenção é apresentar uma coleção com curadoria de aceleradores de solução que podem ajudar os engenheiros a estabelecer seus ambientes e soluções de IA/ML rapidamente e com o mínimo de atrito.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Treinamento no dispositivo com menos de 256 KB de memória [NeurIPS'22]

Uma lista curada de computação de borda incrível, incluindo frameworks, simuladores, ferramentas, etc.