mit-han-lab/omniserve
@mit-han-lab[MLSys'25] QServe: Quantização W4A8KV4 e Co-design de Sistema para Servir LLMs de Forma Eficiente; [MLSys'25] LServe: Servir LLMs de Sequência Longa de Forma Eficiente com Atenção Esparsa Unificada
Estrelas
856
Bifurcações
69
Linguagem
C++
Licença
Apache-2.0
Último push
há 2 anos
Intel relacionado (0)
Ainda não há intel relacionado
Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.