RahulSChand/gpu_poor

計算任何 LLM 所需的 token/s 與 GPU 記憶體需求。支援 llama.cpp/ggml/bnb/QLoRA 量化

↗ 在 GitHub 開啟

星數

1,406

Fork 數

88

語言

JavaScript

授權

—

最後推送

2 年前

JavaScript llm language-model pytorch gpu quantization llama llama2 huggingface ggml llamacpp

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。