mit-han-lab/omniserve
@mit-han-lab[MLSys'25] QServe: Cuantización W4A8KV4 y codiseño de sistemas para un servicio eficiente de LLM; [MLSys'25] LServe: Servicio eficiente de LLM de secuencia larga con atención dispersa unificada
Estrellas
856
Bifurcaciones
69
Lenguaje
C++
Licencia
Apache-2.0
Último push
hace 2 años
Intel relacionado (0)
Aún no hay intel relacionado
Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.