IST-DASLab/marlin
@IST-DASLabKernel de inferencia LLM FP16xINT4 que logra aceleraciones casi ideales de ~4x en tamaños de lote medianos de 16-32 tokens.
Estrellas
1138
Bifurcaciones
92
Lenguaje
Python
Licencia
Apache-2.0
Último push
hace 2 años
Intel relacionado (0)
Aún no hay intel relacionado
Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.