edge-ai

Servidor de alto rendimiento para NATS.io, el sistema de mensajería nativo para la nube y el edge.

Implementación en PyTorch de YOLOv3, YOLOv3-SPP y YOLOv3-tiny para detección de objetos en tiempo real con entrenamiento, validación, inferencia y exportación multiformato.

LiteRT-LM es el marco de inferencia de código abierto, alto rendimiento y listo para producción de Google para desplegar Large Language Models en dispositivos periféricos.

Cuantización, núcleos, entorno de ejecución y motor de inferencia para dispositivos móviles, wearables, hogares inteligentes y robots.

Sistema operativo de nube personal de código abierto para agentes siempre activos

FEDML: la biblioteca de ML unificada y escalable para entrenamiento distribuido a gran escala, servicio de modelos y aprendizaje federado. FEDML Launch, un programador multinube, permite además ejecutar cualquier tarea de IA en cualquier nube de GPU o clúster local. Basada en esta biblioteca, TensorOpera AI (https://TensorOpera.ai) es tu plataforma de IA generativa a escala.

La navaja suiza de la IA sin conexión. Chatea, visualiza, habla y genera imágenes en tu teléfono o Mac: LLMs GGUF, visión, conversión de voz a texto con Whisper, Stable Diffusion, llamadas a herramientas y servidores de red local. Se ejecuta en tu CPU, GPU o NPU. Sin cuentas, sin clave de API y cero datos abandonan tu dispositivo.

Motor de inferencia todo en uno escrito en C++ puro para modelos de audio, basado en ggml. Admite TTS, STT, VAD, conversión de voz, generación de música y más, con un rendimiento altamente optimizado y sin dependencias de Python.

MicroPython para K210 RISC-V, facilita la experimentación con edge AI

Microsoft AI for Good Lab: centro de investigación sobre biodiversidad. Modelos de IA de código abierto, dispositivos de borde y herramientas para el monitoreo y la conservación de la biodiversidad. Tu fuente para MegaDetector, SPARROW, PytorchWildlife, Bioacoustics y más.

DefraDB es una base de datos P2P orientada al borde. Es el sistema de almacenamiento de datos central para el ecosistema Source.

Prototipo de LLM local para Android 17 con Jetpack Compose y ONNX Runtime para experimentos de inferencia de IA sin conexión.

Crea fácilmente proyectos de IA con Python en dispositivos edge.

Asistente de voz en tiempo real: streaming WebRTC, ASR faster-whisper, LLM local, TTS Vui Nano (300M). Compatible con la API Realtime de OpenAI. Clonación de voz, interrupción (barge-in), ~9x tiempo real en una 4090. Licencia Apache 2.0.

El Hailo Model Zoo incluye modelos preentrenados y un entorno completo de construcción y evaluación

Framework de evaluación comparativa de voz a texto.

EfficientSAM3 comprime SAM3 en modelos ligeros y aptos para dispositivos de borde mediante destilación de conocimiento progresiva para una segmentación y seguimiento rápido de conceptos mediante prompts.

Motor de IA de borde en C++ de nivel de producción para análisis de video y VLM en dispositivo a través de Sophon, Rockchip RKNN y x86, con orquestación visual, OSD en tiempo real, eventos y benchmarks reproducibles.

AI-in-a-Box aprovecha la experiencia global de Microsoft para desarrollar y proporcionar soluciones de IA y ML a la comunidad técnica. Nuestro objetivo es presentar una colección curada de aceleradores de soluciones que ayuden a los ingenieros a establecer sus entornos y soluciones de IA/ML de forma rápida y con una fricción mínima.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Entrenamiento en dispositivo con menos de 256 KB de memoria [NeurIPS'22]

Una lista curada de recursos sobre edge computing, incluyendo frameworks, simuladores, herramientas, etc.