Saltar al contenido principal
buildradar
Sign in

intel/auto-round

@intel

Un algoritmo de cuantización SOTA para inferencia de LLM de bajo bit y alta precisión, optimizado para CPU/XPU/CUDA, con soporte para múltiples tipos de datos y compatibilidad total con vLLM, SGLang y Transformers.

Estrellas
1599
Bifurcaciones
171
Lenguaje
Python
Licencia
Apache-2.0
Último push
hace 6 días
Pythonvllmllmstransformersquantizationggufomnidiffuserssglangnvfp4int4vlmsmxfp4rounding

Aún no hay intel relacionado

Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.