IST-DASLab

Code für das ICLR-2023-Paper „GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers“.

FP16xINT4 LLM-Inferenz-Kernel, der bei mittleren Batchgrößen von 16-32 Token nahezu ideale 4-fache Geschwindigkeitssteigerungen erzielen kann.

Code für das ICML-2023-Papier "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot".