intel/neural-compressor

Kuantisasi LLM low-bit SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsity; teknik kompresi model terdepan pada PyTorch, TensorFlow, dan ONNX Runtime

↗ Buka di GitHub

Bintang

2.706

Fork

322

Bahasa

Python

Lisensi

Apache-2.0

Push terakhir

6 hari yang lalu

Python large-language-models quantization knowledge-distillation sparsity pruning post-training-quantization awq smoothquant int4 quantization-aware-training gptq fp4 auto-tuning int8 low-precision mxformat sparsegpt

Belum ada intel terkait

Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.