RahulSChand/gpu_poor

Calcul du nombre de jetons par seconde et des besoins en mémoire GPU pour tout LLM. Prend en charge la quantification llama.cpp/ggml/bnb/QLoRA.

↗ Ouvrir sur GitHub

Étoiles

1 406

Bifurcations

88

Langage

JavaScript

Licence

—

Dernier push

il y a 2 ans

JavaScript llm language-model pytorch gpu quantization llama llama2 huggingface ggml llamacpp

Aucune intel associée pour le moment

Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.