IST-DASLab

ICLR 2023 论文“GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers”的代码。

FP16xINT4 LLM 推理核心，在 16-32 个 token 的中等批次大小下，可实现近乎理想的约 4 倍加速。

ICML 2023 论文“SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot”的代码。