RahulSChand/gpu_poor

计算任何 LLM 所需的 token/s 与 GPU 内存需求。支持 llama.cpp/ggml/bnb/QLoRA 量化

↗ 在 GitHub 打开

星数

1,406

Fork 数

88

语言

JavaScript

许可

—

最后推送

2年前

JavaScript llm language-model pytorch gpu quantization llama llama2 huggingface ggml llamacpp

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。