mnn

MNN: Um motor de inferência extremamente rápido e leve, testado em batalha pelo Alibaba, que potencializa LLMs on-device de alto desempenho e Edge AI.

📄 Awesome OCR, kits de ferramentas para múltiplas linguagens de programação baseados em ONNX Runtime, OpenVINO, MNN, PaddlePaddle, TensorRT e PyTorch.

O software de chat e agente de IA mais poderoso no Android

NanoDet-Plus ⚡ Modelo de detecção de objetos anchor-free super rápido e leve. 🔥 Apenas 980 KB (int8) / 1.8 MB (fp16) e roda a 97 FPS em celulares 🔥

TNN: desenvolvido pelo Tencent Youtu Lab e Guangying Lab, um framework unificado de inferência de deep learning para celular, desktop e servidor. O TNN se destaca por vários recursos excelentes, incluindo capacidade multiplataforma, alto desempenho, compressão de modelo e poda de código. Com base no ncnn e Rapidnet, o TNN fortalece ainda mais o suporte e a otimização de desempenho para dispositivos móveis.

Um kit de ferramentas de IA leve em C++: mais de 100 modelos com MNN, ORT e TRT, incluindo Det, Seg, Stable-Diffusion e Face-Fusion.

YOLOv5-Lite: Evoluído a partir do YOLOv5, com um tamanho de modelo de apenas 900+kb (int8) e 1.7M (fp16). Atinge 15 FPS no Raspberry Pi 4B.

Um aplicativo Android para super-resolução e interpolação. Contém RealSR-NCNN, SRMD-NCNN, RealCUGAN-NCNN, Real-ESRGAN-NCNN, Waifu2x-NCNN, Anime4kcpp, nearest, bilinear, bicubic, AVIR...

Um framework de implantação de IA de alto desempenho e fácil de usar.

Projeto de implantação de LLM baseado em MNN. Este projeto foi mesclado ao MNN.

um detector de objetos sem âncora em tempo real na borda com desempenho razoável