Tópico · high-performance-inference
high-performance-inference
Repositórios de código aberto acompanhados marcados com high-performance-inference, ordenados por estrelas.
Repositórios
2
Total de estrelas
6.109
Média de estrelas
3.055
Participação
0,00%
Tópicos relacionados
Tópicos que aparecem com frequência ao lado de high-performance-inference no mesmo repositório.
Em ascensão recentemente
Repositórios criados nos últimos 90 dias e marcados com high-performance-inference.
Nenhum repositório novo marcado com este tópico nos últimos 90 dias.
- #1
Um gerenciador de cluster de GPU para servir modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU acessíveis via SSH sob demanda.
★ 5.593+21Variação de estrelas nos últimos 7 dias - #2
Krasis é um runtime LLM híbrido focado na execução eficiente de modelos maiores em hardware de nível de consumidor com VRAM limitada.
★ 519+2Variação de estrelas nos últimos 7 dias
