ModelCloud

支持硬件加速的 LLM 模型量化（压缩）工具包，可通过 HF、vLLM 及 SGLang 为 Nvidia、AMD、Intel GPU 以及 Intel/AMD/Apple CPU 提供加速支持。