intel/auto-round

高精度な低ビット LLM 推論のための SOTA 量子化アルゴリズム。CPU、XPU、CUDA にシームレスに最適化され、多様なデータ型をサポート。vLLM、SGLang、Transformers と完全に互換性があります。