intel/neural-compressor

SOTA 저비트 LLM 양자화(INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) 및 희소성(sparsity); PyTorch, TensorFlow, ONNX Runtime을 지원하는 선도적인 모델 압축 기술

↗ GitHub에서 열기

스타

2,706

포크

322

언어

Python

라이선스

Apache-2.0

마지막 푸시

6일 전

Python large-language-models quantization knowledge-distillation sparsity pruning post-training-quantization awq smoothquant int4 quantization-aware-training gptq fp4 auto-tuning int8 low-precision mxformat sparsegpt

아직 관련 인텔이 없습니다

이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.