edge-ai

クラウドおよびエッジネイティブメッセージングシステムであるNATS.io向けの高性能サーバー

PyTorchによるYOLOv3、YOLOv3-SPP、およびYOLOv3-tinyの実装。トレーニング、検証、推論、マルチフォーマットエクスポートを備えたリアルタイム物体検出用。

LiteRT-LMは、Googleが提供する、エッジデバイスへの大規模言語モデル（LLM）展開のための、本番環境対応の高性能なオープンソース推論フレームワークです。

モバイル、ウェアラブル、スマートホーム、ロボット向けの量子化、カーネル、ランタイム、推論エンジン。

常時稼働エージェントのためのオープンソースのパーソナルクラウドOS。

FEDML - 大規模分散学習、モデルサービング、フェデレーテッドラーニングのための統一的でスケーラブルなMLライブラリ。クロスクラウドスケジューラであるFEDML Launchにより、あらゆるAIジョブをあらゆるGPUクラウドまたはオンプレミスクラスターで実行可能になります。このライブラリを基盤として、TensorOpera AI (https://TensorOpera.ai) はスケーラブルな生成AIプラットフォームを提供します。

オフライン AI のスイスアーミーナイフ。スマホや Mac でチャット、視覚認識、音声対話、画像生成が可能 — GGUF LLM、ビジョン、Whisper 音声認識、Stable Diffusion、ツール呼び出し、ローカルネットワークサーバーに対応。CPU、GPU、NPU で動作。アカウント不要、API キー不要、データがデバイス外に出ることは一切ありません。

ggml を活用した、音声モデル向けのオールインワンかつ純粋な C++ 推論エンジン。TTS、STT、VAD、音声変換、音楽生成などを高度に最適化されたパフォーマンスでサポートします。Python 依存関係はありません。

K210 RISC-V 向けの MicroPython、エッジ AI をより手軽に楽しもう

Microsoft AI for Good Lab — 生物多様性研究ハブ。オープンソースの AI モデル、エッジデバイス、生物多様性モニタリングおよび保全のためのツール。MegaDetector、SPARROW、PytorchWildlife、Bioacoustics などの情報源です。

DefraDBはピアツーピアのエッジファーストデータベースです。Sourceエコシステムのコアデータストレージシステムです。

オフラインでの AI 推論実験用の Jetpack Compose と ONNX Runtime を使用した Android 17 ローカル LLM プロトタイプ。

エッジデバイス上で Python を使って簡単に AI プロジェクトを作成

リアルタイム音声アシスタント — WebRTC ストリーミング、faster-whisper ASR、ローカル LLM、Vui Nano (300M) TTS。OpenAI Realtime API 互換。音声クローン、発話割り込み (barge-in)、RTX 4090 で約 9 倍のリアルタイム処理。Apache 2.0 ライセンス。

事前トレーニング済みモデルと完全な構築・評価環境を含む Hailo Model Zoo

音声認識（Speech-to-Text）のベンチマークフレームワーク

EfficientSAM3 は、プログレッシブ知識蒸留により SAM3 を軽量でエッジ向けのモデルに圧縮し、高速なプロンプト駆動型コンセプトのセグメンテーションとトラッキングを実現します。

Sophon、Rockchip RKNN、x86 に対応した、ビジュアルオーケストレーション、リアルタイム OSD、イベント、再現可能なベンチマークを備える、ビデオ分析およびオンデバイス VLM 向けのプロダクション品質の C++ エッジ AI エンジン

AI-in-a-Boxは、世界中のMicrosoftの専門知識を活用して、技術コミュニティにAIおよびMLソリューションを開発・提供します。エンジニアが最小限の摩擦で迅速にAI/ML環境とソリューションを構築できるよう支援する、厳選されたソリューションアクセラレータのコレクションを提供することを目的としています。

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

256KB未満のメモリで行うデバイス上でのトレーニング [NeurIPS'22]

フレームワーク、シミュレータ、ツールなど、エッジ 컴퓨팅に関する厳選されたリソースリスト