IST-DASLab

ICLR 2023 논문 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers" 코드.

16~32 토큰의 중간 배치 크기에서 이상치에 가까운 약 4배의 속도 향상을 달성할 수 있는 FP16xINT4 LLM 추론 커널

ICML 2023 논문 "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot"의 코드