RahulSChand/gpu_poor

Calcula tokens/s y los requisitos de memoria GPU para cualquier LLM. Soporta cuantización llama.cpp/ggml/bnb/QLoRA.

↗ Abrir en GitHub

Estrellas

1406

Bifurcaciones

88

Lenguaje

JavaScript

Licencia

—

Último push

hace 2 años

JavaScript llm language-model pytorch gpu quantization llama llama2 huggingface ggml llamacpp

Aún no hay intel relacionado

Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.