vitoplantamura/OnnxStream

Leistungsstarke Inferenz-Bibliothek für ONNX-Dateien, geschrieben in C++. Sie kann Stable Diffusion XL 1.0 auf einem RPI Zero 2 (oder in 298 MB RAM) sowie Mistral 7B auf Desktops und Servern ausführen. ARM, x86, WASM, RISC-V werden unterstützt. Beschleunigt durch XNNPACK. Python-, C#- und JS(WASM)-Bindings verfügbar.

↗ Auf GitHub öffnen

Sterne

2.086

Forks

Sprache

C++

Lizenz

NOASSERTION

Letzter Push

vor 3 Monaten

C++machine-learning stable-diffusion whisper raspberry-pi wasm webassembly onnx llama yolov8 mistral tinyml

Noch keine verwandte Intel

Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.

Verwandte Intel (0)

Noch keine verwandte Intel