npu

Lemonade ayuda a los usuarios a descubrir y ejecutar aplicaciones de IA locales sirviendo LLMs optimizados directamente desde sus propias GPU y NPU. Únete a nuestro discord: https://discord.gg/5xXzkMu8Zk

Tengine es un motor de inferencia ligero, modular y de alto rendimiento para dispositivos integrados

Plataforma nativa de la nube de código abierto para ML/DL, MaaS y MLOps. Ofrece un ciclo de vida completo de algoritmos, multi-tenancy, orquestación de flujos de trabajo, entrenamiento distribuido, ajuste fino de modelos (SFT/RLHF), inferencia con vLLM/Ollama, bases de conocimiento privadas y soporte para hardware heterogéneo (Ascend, Cambricon, etc.) con capacidades de computación en el borde.

Ejecuta LLMs en NPUs AMD Ryzen™ AI en cuestión de minutos. Igual que Ollama, pero diseñado específicamente y profundamente optimizado para las NPUs de AMD.

Proyecto de código abierto para que los desarrolladores de Windows aprendan a integrar IA mediante modelos locales y APIs en sus aplicaciones.

Un framework ligero de Pytorch para modelos de recomendación, fácil de usar y de ampliar.

Una API de Python de bajo nivel para programar NPUs (motores de IA) de AMD Ryzen™, construida sobre una cadena de herramientas de compilación basada en MLIR de código abierto.

Entorno de ejecución para plataformas basadas en AIE y FPGA

Alternativa a Ollama para Rockchip NPU: Una solución eficiente para ejecutar modelos de IA y aprendizaje profundo en dispositivos Rockchip con soporte optimizado para NPU (rkllm)