EricLBuehler/candle-vllm
@EricLBuehlerPlataforma eficiente para inferência e atendimento de LLMs locais, incluindo um servidor de API compatível com a OpenAI.
Estrelas
722
Bifurcações
88
Linguagem
Rust
Licença
MIT
Último push
há 2 dias
Intel relacionado (0)
Ainda não há intel relacionado
Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.