IST-DASLab

ICLR 2023 論文「GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers」的程式碼。

FP16xINT4 LLM 推論核心，在 16-32 個 token 的中等批次大小下，可實現近乎理想的約 4 倍加速。

ICML 2023 論文「SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot」的程式碼。