vllm-project/llm-compressor
@vllm-projectLibrería compatible con Transformers para aplicar varios algoritmos de compresión a LLMs para un despliegue optimizado con vLLM
Estrellas
3753
Bifurcaciones
644
Lenguaje
Python
Licencia
Apache-2.0
Último push
hace 6 días
Intel relacionado (0)
Aún no hay intel relacionado
Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.