RahulSChand/gpu_poor

Calcule tokens/s e requisitos de memória GPU para qualquer LLM. Suporta quantização llama.cpp/ggml/bnb/QLoRA.

↗ Abrir no GitHub

Estrelas

1.406

Bifurcações

88

Linguagem

JavaScript

Licença

—

Último push

há 2 anos

JavaScript llm language-model pytorch gpu quantization llama llama2 huggingface ggml llamacpp

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.