Proprietário · IST-DASLab

IST-DASLab

Repositórios de código aberto acompanhados de IST-DASLab, ordenados por estrelas.

3 repositórios

#1
gptq ↗@IST-DASLabPython
Código para o artigo do ICLR 2023 "GPTQ: Quantização pós-treinamento precisa de Transformers pré-treinados generativos".
★ 2.362+2Variação de estrelas nos últimos 7 dias
#2
marlin ↗@IST-DASLabPython
Kernel de inferência LLM FP16xINT4 capaz de atingir acelerações quase ideais de ~4x para tamanhos de lote médios de 16-32 tokens.
★ 1.138+2Variação de estrelas nos últimos 7 dias
#3
sparsegpt ↗@IST-DASLabPython
Código para o artigo do ICML 2023 "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot".
★ 893+0Variação de estrelas nos últimos 7 dias