IST-DASLab

ICLR 2023 の論文「GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers」のコード。

16〜32トークンのミディアムバッチサイズで、ほぼ理想的な約4倍の高速化を実現できるFP16xINT4 LLM推論カーネル。

ICML 2023 論文「SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot」のコード。