vitoplantamura/OnnxStream

Pustaka inferensi ringan untuk file ONNX, ditulis dalam C++. Dapat menjalankan Stable Diffusion XL 1.0 pada RPI Zero 2 (atau dalam 298MB RAM) serta Mistral 7B di desktop dan server. Mendukung ARM, x86, WASM, RISC-V. Diakselerasi oleh XNNPACK. Tersedia binding untuk Python, C#, dan JS(WASM).

↗ Buka di GitHub

Bintang

2.086

Fork

Bahasa

C++

Lisensi

NOASSERTION

Push terakhir

3 bulan yang lalu

C++machine-learning stable-diffusion whisper raspberry-pi wasm webassembly onnx llama yolov8 mistral tinyml

Belum ada intel terkait

Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.

Intel terkait (0)

Belum ada intel terkait