edge-ai

Serveur haute performance pour NATS.io, le système de messagerie natif pour le cloud et l'edge.

Implémentation PyTorch de YOLOv3, YOLOv3-SPP et YOLOv3-tiny pour la détection d'objets en temps réel, incluant l'entraînement, la validation, l'inférence et l'exportation multi-format.

LiteRT-LM est le framework d'inférence open source de Google, prêt pour la production et haute performance, destiné au déploiement de grands modèles de langage sur des appareils en périphérie.

Quantification, noyaux, runtime et moteur d'inférence pour mobiles, objets connectés, domotique et robots.

Système d'exploitation cloud personnel open source pour agents toujours actifs

FEDML - La bibliothèque ML unifiée et évolutive pour l'entraînement distribué à grande échelle, le déploiement de modèles et l'apprentissage fédéré. FEDML Launch, un ordonnanceur multi-cloud, permet d'exécuter tout travail d'IA sur n'importe quel cloud GPU ou cluster sur site. Basée sur cette bibliothèque, TensorOpera AI (https://TensorOpera.ai) est votre plateforme d'IA générative à grande échelle.

Le couteau suisse de l'IA hors ligne. Discutez, voyez, parlez et générez des images sur votre téléphone ou Mac — LLM GGUF, vision, reconnaissance vocale Whisper, Stable Diffusion, appel d'outils et serveurs réseau locaux. Fonctionne sur votre CPU, GPU ou NPU. Aucun compte, aucune clé API, aucune donnée ne quitte votre appareil.

Un moteur d'inférence tout-en-un en C++ pur pour les modèles audio, propulsé par ggml. Prend en charge TTS, STT, VAD, conversion vocale, génération musicale et plus encore, avec des performances hautement optimisées. Aucune dépendance Python.

MicroPython pour K210 RISC-V, pour simplifier l'IA en périphérie (edge AI)

Microsoft AI for Good Lab — Hub de recherche sur la biodiversité. Modèles d'IA open source, appareils edge et outils pour la surveillance et la conservation de la biodiversité. Inclut MegaDetector, SPARROW, PytorchWildlife, Bioacoustics, et plus encore.

DefraDB est une base de données pair-à-pair orientée edge. Il s'agit du système de stockage de données central pour l'écosystème Source.

Prototype de LLM local pour Android 17 utilisant Jetpack Compose et ONNX Runtime pour des expériences d'inférence IA hors ligne.

Créez facilement des projets IA avec Python sur des appareils edge.

Assistant vocal en temps réel — streaming WebRTC, ASR faster-whisper, LLM local, TTS Vui Nano (300M). Compatible avec l'API OpenAI Realtime. Clonage vocal, interruption (barge-in), ~9× temps réel sur une 4090. Licence Apache 2.0.

Le Hailo Model Zoo comprend des modèles pré-entraînés ainsi qu'un environnement complet de construction et d'évaluation

Framework de benchmark pour la reconnaissance vocale (speech-to-text)

EfficientSAM3 compresse SAM3 en modèles légers et adaptés aux bords via une distillation progressive de connaissances pour une segmentation et un suivi de concepts rapides et promptables.

Moteur d'IA edge en C++ de qualité production pour l'analyse vidéo et les VLM sur appareil à travers Sophon, Rockchip RKNN et x86, avec orchestration visuelle, OSD en temps réel, événements et benchmarks reproductibles.

AI-in-a-Box tire parti de l'expertise mondiale de Microsoft pour développer et fournir des solutions d'IA et de ML à la communauté technique. Notre objectif est de proposer une collection organisée d'accélérateurs de solutions pour aider les ingénieurs à configurer rapidement et facilement leurs environnements et solutions d'IA/ML.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Entraînement sur appareil avec moins de 256 Ko de mémoire [NeurIPS'22]

Une liste organisée de ressources sur l'edge computing, incluant des frameworks, simulateurs, outils, etc.