intel/neural-compressor

领先的低比特大型语言模型（LLM）量化（INT8/FP8/MXFP8/INT4/MXFP4/NVFP4）与稀疏化技术；基于 PyTorch、TensorFlow 和 ONNX Runtime 的顶尖模型压缩技术

↗ 在 GitHub 打开

星数

2,706

Fork 数

322

语言

Python

许可

Apache-2.0

最后推送

1周前

Python large-language-models quantization knowledge-distillation sparsity pruning post-training-quantization awq smoothquant int4 quantization-aware-training gptq fp4 auto-tuning int8 low-precision mxformat sparsegpt

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。