RahulSChand/gpu_poor

あらゆる LLM のトークン/秒および GPU メモリ要件を計算します。llama.cpp/ggml/bnb/QLoRA の量子化をサポート

↗ GitHub で開く

スター

1,406

フォーク

88

言語

JavaScript

ライセンス

—

最終プッシュ

2 年前

JavaScript llm language-model pytorch gpu quantization llama llama2 huggingface ggml llamacpp

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。