vitoplantamura/OnnxStream

Biblioteca de inferência leve para arquivos ONNX, escrita em C++. Pode executar Stable Diffusion XL 1.0 em um RPI Zero 2 (ou em 298 MB de RAM), bem como Mistral 7B em desktops e servidores. Suporta ARM, x86, WASM e RISC-V. Acelerado por XNNPACK. Bindings para Python, C# e JS(WASM) disponíveis.

↗ Abrir no GitHub

Estrelas

2.086

Bifurcações

Linguagem

C++

Licença

NOASSERTION

Último push

há 3 meses

C++machine-learning stable-diffusion whisper raspberry-pi wasm webassembly onnx llama yolov8 mistral tinyml

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.

Intel relacionado (0)

Ainda não há intel relacionado