IST-DASLab

Code pour l'article ICLR 2023 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".

Noyau d'inférence LLM FP16xINT4 capable d'atteindre des accélérations quasi idéales d'environ 4x pour des tailles de lots moyennes de 16 à 32 jetons.

Code pour l'article ICML 2023 "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot".