intel/neural-compressor

Quantização SOTA de LLM de baixo bit (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) e esparsidade; técnicas líderes de compressão de modelos em PyTorch, TensorFlow e ONNX Runtime.

↗ Abrir no GitHub

Estrelas

2.706

Bifurcações

322

Linguagem

Python

Licença

Apache-2.0

Último push

há 6 dias

Python large-language-models quantization knowledge-distillation sparsity pruning post-training-quantization awq smoothquant int4 quantization-aware-training gptq fp4 auto-tuning int8 low-precision mxformat sparsegpt

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.

Intel relacionado (0)

Ainda não há intel relacionado