vitoplantamura/OnnxStream

轻量级 ONNX 文件推理库，使用 C++ 编写。它能够在 RPI Zero 2 上（或在 298MB 内存中）运行 Stable Diffusion XL 1.0，也能在桌面端和服务器上运行 Mistral 7B。支持 ARM、x86、WASM、RISC-V。由 XNNPACK 加速。提供 Python、C# 和 JS(WASM) 绑定。