npu

O Lemonade ajuda usuários a descobrir e executar aplicativos de IA locais, servindo LLMs otimizados diretamente de suas próprias GPUs e NPUs. Junte-se ao nosso Discord: https://discord.gg/5xXzkMu8Zk

Tengine é um motor de inferência leve, de alto desempenho e modular para dispositivos embarcados.

Plataforma de IA de código aberto cubestudio: solução completa nativa em nuvem para aprendizado de máquina, aprendizado profundo e grandes modelos (LLMs). Inclui MaaS, MLOps, orquestração de pipeline, treinamento distribuído, busca de hiperparâmetros, inferência, virtualização VGPU, computação de borda, rotulagem automatizada, ajuste fino (SFT) de modelos como deepseek, suporte a inferência multi-máquina (vllm/ollama/mindie), bases de conhecimento privadas, marketplace de modelos e suporte a hardware heterogêneo (Ascend, Cambricon, etc.) com suporte a RDMA/RoCE.

Execute LLMs em NPUs AMD Ryzen™ AI em minutos. Assim como o Ollama, mas criado especificamente e profundamente otimizado para NPUs AMD.

Um projeto open-source para desenvolvedores Windows aprenderem a adicionar IA com modelos locais e APIs em aplicativos Windows.

Um framework Pytorch leve para modelos de recomendação, fácil de usar e fácil de estender.

Uma API Python de baixo nível para programar NPUs AMD Ryzen™ AI (motores de IA), construída sobre uma cadeia de ferramentas de compilação baseada em MLIR de código aberto.

Ambiente de execução para plataformas baseadas em AIE e FPGA

Alternativa ao Ollama para NPU Rockchip: Uma solução eficiente para executar modelos de IA e aprendizado profundo em dispositivos Rockchip com suporte otimizado a NPU (rkllm)