microsoft/sarathi-serve
@microsoftUm mecanismo de atendimento de baixa latência e alto rendimento para LLMs
Estrelas
520
Bifurcações
66
Linguagem
Python
Licença
Apache-2.0
Último push
há 8 meses
Intel relacionado (0)
Ainda não há intel relacionado
Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.