intel/auto-round
@intel고정밀 저비트 LLM 추론을 위한 SOTA 양자화 알고리즘. CPU/XPU/CUDA에 최적화되었으며, 다양한 데이터 타입을 지원하고 vLLM, SGLang, Transformers와 완벽히 호환됩니다.
스타
1,599
포크
171
언어
Python
라이선스
Apache-2.0
마지막 푸시
5일 전
관련 인텔 (0)
아직 관련 인텔이 없습니다
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.