turboderp-org/exllamav3
@turboderp-orgUma biblioteca otimizada de quantização e inferência para executar LLMs localmente em GPUs modernas de uso geral
Estrelas
1.267
Bifurcações
146
Linguagem
Python
Licença
MIT
Último push
há 7 dias
Intel relacionado (0)
Ainda não há intel relacionado
Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.