on-device-ai

⚡ Apple Silicon向けのネイティブなMLX Swift LLM推論サーバー。OpenAI互換API、100B+ MoEモデル向けのSSDストリーミング、TurboQuant KVキャッシュ圧縮、macOSおよびiOS iPhoneアプリを搭載。

Sophon、Rockchip RKNN、x86 に対応した、ビジュアルオーケストレーション、リアルタイム OSD、イベント、再現可能なベンチマークを備える、ビデオ分析およびオンデバイス VLM 向けのプロダクション品質の C++ エッジ AI エンジン

Whisper をベースにした Android 入力メソッドエディタ（IME）

Swiftletは、ストレージから専門家ウェイトをストリーミングすることで、Apple製デバイス上で大規模なQwen Mixture-of-Expertsモデルをローカル実行するSwiftおよびMetalランタイムです。iPhoneを含む低RAM環境でも35Bおよび80Bモデルの実行を可能にします。

オープンソースのローカル AI SDK。クラウドや API キーなしでデバイス上で AI を実行可能。GGUF、RAG、画像・音楽・動画生成、音声認識、P2P 推論などをサポート。クロスプラットフォーム対応 (Linux、macOS、Windows、Android、iOS)。

オンデバイスニューラルエンジン

PennyWiseは、オンデバイスAIアシスタントを活用してトランザクションSMSメッセージを自動的に読み取り、整理された財務データに変換します。手動入力なし、クラウド処理なしで、完全なプライバシーを保護します。

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

ローカルで画像を生成

Android 音声活動検出 (VAD) ライブラリ。WebRTC VAD GMM、Silero VAD DNN、Yamnet VAD DNN モデルをサポート。