npu

Lemonadeは、ユーザーが自身のGPUやNPUから最適化されたLLMを配信することで、ローカルAIアプリの発見と実行を支援します。Discordに参加: https://discord.gg/5xXzkMu8Zk

Tengineは、組み込みデバイス向けの軽量で高性能なモジュール式推論エンジン。

cubestudioはオープンソースのクラウドネイティブなワンストップ機械学習/ディープラーニング/大規模モデルAIプラットフォーム、MaaS/mlops/AIプラットフォームであり、アルゴリズムの全プロセス、マルチテナント、計算力レンタルプラットフォーム、token中継、ドラッグ＆ドロップによるタスクフローpipelineオーケストレーション、マルチマシン・マルチカード分散トレーニング、ハイパーパラメータ探索、推論サービス、VGPU仮想化、クラウド・エッジ・デバイス協調、エッジコンピューティング、自動アノテーションプラットフォーム、deepseekなどの大規模モデルSFTファインチューニング/報酬モデル/強化学習トレーニング、vllm/ollama/mindie大規模モデルマルチマシン推論、プライベートナレッジベースllmopsエージェント、AIモデルマーケットプレイスを提供し、国産の異構計算力スケジューリング（昇騰、寒武紀、海光、摩尔、沐曦など）やib/roce/RDMA、信創に対応しています。

AMD Ryzen™ AI NPU で数分以内に LLM を実行。Ollama のように使えますが、AMD NPU 向けに専用構築され、深く最適化されています。

Windows 開発者がローカルモデルや API を使用して Windows アプリに AI を追加する方法を学ぶためのオープンソースプロジェクト。

使いやすく拡張性の高い、レコメンデーションモデル向けの軽量なPytorchフレームワーク。

AIE および FPGA ベースのプラットフォーム向けランタイム

オープンソースの MLIR ベースのコンパイラツールチェーン上に構築された、AMD Ryzen™ AI NPU（AI エンジン）プログラミング用のローレベルな Python API。

Rockchip NPU 向け Ollama 代替: 最適化された NPU サポート (rkllm) により Rockchip デバイス上で AI およびディープラーニングモデルを実行するための効率的なソリューション