on-device-ai

ローカルでAIを実行するための本番環境対応ツールキット

超小型デバイス向け（スマートフォン、ウェアラブル、スマートホーム、ロボットなど）の14MB基盤モデル。

わずかなコードで、Qualcommデバイス上のNPU、GPU、CPU全体で最先端のLLMおよびVLMをローカル実行可能。

MシリーズのMacBookであれば、約2GBのRAMでGemma 4 26B-A4Bの推論を実行可能。

LiteRT-LMは、Googleが提供する、エッジデバイスへの大規模言語モデル（LLM）展開のための、本番環境対応の高性能なオープンソース推論フレームワークです。

モバイル、ウェアラブル、スマートホーム、ロボット向けの量子化、カーネル、ランタイム、推論エンジン。

AIをあなたが制御：モデルを選択。データを所有。ベンダーロックインを排除。

プライバシーを保護しつつローカルのテキストや画像を整理する、AI駆動型ファイル管理ツール。Nexa SDKとLlama3.2 3B / Llava v1.6モデルを使用し、ファイルを直感的にスキャン・再構築して素早いアクセスと簡単な検索を実現します。

Apple Silicon 上のローカル AI により、Claude Code を 100% デバイス上で実行します。MLX ネイティブの Anthropic API サーバー。Muse-Glimmer 30B（マルチモーダル対応、画像読み取り可能）、Gemma 4 31B、Qwen 3.5 122B（65 tok/s）、DeepSeek V4 Flash（100万コンテキスト）など6つのモデルを搭載。プライベート、オフライン、エアギャップ環境に対応。NDA、法務、医療ワークフロー向けに構築されています。

Mano-P: エッジデバイス向けオープンソース GUI-VLA エージェント。OSWorld で 1 位（特化型、58.2%）。Apple M4 Mac mini / MacBook でローカル実行され、データがデバイス外に出ません。

GPT-Live と同様の機能を備えた、デバイス上のリアルタイムマルチモーダル AI

iOS/macOS 向けの Core ML モデル集。PyTorch モデルをすぐに使える .mlpackage に変換し、それぞれ変換スクリプトと SwiftUI サンプルアプリが付属。関連リポジトリでは Apple の Core AI フレームワークやオンデバイス LLM を扱っています。

ExecuTorch を活用し、React Native でデバイス上の AI モデルを実行する宣言的な方法。

Mac に話しかけ、ドキュメントを検索。クラウド不要。デバイス上の音声 AI + RAG

[ICLR 2019] ProxylessNAS: ターゲットタスクとハードウェアに対する直接的なニューラルアーキテクチャ探索

Apple Silicon 搭載 Mac で LLM をファインチューニング。MLX 上でネイティブ動作する SFT、DPO、GRPO、Vision、TTS、STT、Embedding、OCR のファインチューニング対応。Unsloth 互換 API。

Vercel AI SDKと互換性を持つ、React NativeでのオンデバイスLLM実行

PhoneClawは、オンデバイスモデル、ネイティブモバイルSkills、LiveLand、およびオプションのMac Gateway推論を使用して、スマートフォンをローカルAIエージェントランタイムに変換します

Apple の Foundation Models フレームワークを使用したアプリの構築、テスト、評価のための実践的なラボ。

「EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM」の公式 PyTorch 実装

NativeMind: 完全なプライバシー保護を実現する、オープンソースのデバイス内蔵型 AI アシスタント

NobodyWho は、あらゆるデバイス上で LLM をローカルかつ効率的に実行できる推論エンジンです。

Muesli - macOS 向けのローカル会議文字起こしおよび音声入力ツール (Granola および WisprFlow の代替)

PokeClaw (PocketClaw) — Android スマートフォンを操作する初のオンデバイス AI。Gemma 4 搭載、クラウド不要、API キー不要。Poke は Pocket の略。

[CVPR 2025] 「EdgeTAM: On-Device Track Anything Model」の公式PyTorch実装

TinyChatEngine: デバイス上LLM推論ライブラリ

ANE、メディアエンジン、メモリ帯域幅の追跡を備えた、sudo 不要の Apple Silicon システムモニター（ネイティブ SwiftUI GUI）

データ向けのローカルファーストなオープンソースAIアシスタント。タスク、ノート、ドキュメント、写真、ブックマークを統合。プライベート、セルフホスト対応、APIで拡張可能

ストリーミングおよびオンデバイス利用向けに最適化されたWhisperモデル

Apple Silicon上でテキスト、写真、ビデオを対象としたミリ秒未満のRAGを実現する、全エージェント向けの共有シングルファイルメモリレイヤー。サーバー不要、API不要。1ファイル。純粋なSwift