Tópico · distributed-inference
distributed-inference
Repositórios de código aberto acompanhados marcados com distributed-inference, ordenados por estrelas.
Repositórios
4
Total de estrelas
17.366
Média de estrelas
4.342
Participação
0,00%
Tópicos relacionados
Tópicos que aparecem com frequência ao lado de distributed-inference no mesmo repositório.
Em ascensão recentemente
Repositórios criados nos últimos 90 dias e marcados com distributed-inference.
Nenhum repositório novo marcado com este tópico nos últimos 90 dias.
- #1
FlashInfer: Biblioteca de kernel para servir LLMs.
★ 6.321+38Variação de estrelas nos últimos 7 dias - #2
Um gerenciador de cluster de GPU para servir modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU acessíveis via SSH sob demanda.
★ 5.593+21Variação de estrelas nos últimos 7 dias - #3
Alcance um desempenho de inferência de última geração com aceleradores modernos no Kubernetes
★ 4.390+69Variação de estrelas nos últimos 7 dias - #4
O SGLang-Omni capacita o atendimento de alto desempenho para modelos TTS, ASR, de fala e onidirecionais.
★ 1.118+143Variação de estrelas nos últimos 7 dias
