npu

Lemonade hilft Benutzern dabei, lokale KI-Apps zu entdecken und auszuführen, indem optimierte LLMs direkt von ihren eigenen GPUs und NPUs bereitgestellt werden. Treten Sie unserem Discord bei: https://discord.gg/5xXzkMu8Zk

Tengine ist eine schlanke, hochleistungsfähige, modulare Inferenz-Engine für eingebettete Geräte

cubestudio ist eine Open-Source Cloud-Native KI-Plattform für Machine Learning, Deep Learning und Large Language Models (LLM). Sie bietet MLOps, Multi-Tenancy, Ressourcen-Leasing, Pipeline-Orchestrierung, verteiltes Training, Inferenz-Dienste, VGPU-Virtualisierung sowie Unterstützung für heterogene Hardware (Ascend, Cambricon etc.) und private Wissensdatenbanken.

Führen Sie LLMs in wenigen Minuten auf AMD Ryzen™ AI NPUs aus. Genau wie Ollama – aber speziell entwickelt und tiefgehend optimiert für AMD NPUs.

Ein Open-Source-Projekt für Windows-Entwickler, um zu lernen, wie man Windows-Apps mit lokalen Modellen und APIs um KI erweitert.

Ein leichtgewichtiges PyTorch-Framework für Empfehlungsmodelle, einfach zu bedienen und zu erweitern.

Eine hardwarenahe Python-API zur Programmierung von AMD Ryzen™ AI NPUs (AI Engines), basierend auf einer Open-Source-MLIR-basierten Compiler-Toolchain.

Laufzeitumgebung für AIE- und FPGA-basierte Plattformen

Ollama-Alternative für Rockchip NPU: Eine effiziente Lösung zum Ausführen von KI- und Deep-Learning-Modellen auf Rockchip-Geräten mit optimierter NPU-Unterstützung (rkllm)