Propietario · IST-DASLab

IST-DASLab

Repositorios de código abierto monitorizados de IST-DASLab, ordenados por estrellas.

3 repositorios

#1
gptq ↗@IST-DASLabPython
Código para el artículo de ICLR 2023 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".
★ 2362+2Variación de estrellas de los últimos 7 días
#2
marlin ↗@IST-DASLabPython
Kernel de inferencia LLM FP16xINT4 que logra aceleraciones casi ideales de ~4x en tamaños de lote medianos de 16-32 tokens.
★ 1138+2Variación de estrellas de los últimos 7 días
#3
sparsegpt ↗@IST-DASLabPython
Código para el artículo de ICML 2023 "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot".
★ 893+0Variación de estrellas de los últimos 7 días