vitoplantamura/OnnxStream

Thư viện suy luận nhẹ cho các tệp ONNX, được viết bằng C++. Nó có thể chạy Stable Diffusion XL 1.0 trên RPI Zero 2 (hoặc trong 298MB RAM) cũng như Mistral 7B trên máy tính để bàn và máy chủ. Hỗ trợ ARM, x86, WASM, RISC-V. Được tăng tốc bởi XNNPACK. Có sẵn các binding cho Python, C# và JS(WASM).