turboderp-org/exllamav2
@turboderp-orgUma biblioteca de inferência rápida para executar LLMs localmente em GPUs modernas de nível consumidor.
Estrelas
4.614
Bifurcações
341
Linguagem
Python
Licença
MIT
Último push
há 6 meses
Intel relacionado (0)
Ainda não há intel relacionado
Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.