RahulSChand/gpu_poor

Menghitung token/s & kebutuhan memori GPU untuk LLM apa pun. Mendukung kuantisasi llama.cpp/ggml/bnb/QLoRA

↗ Buka di GitHub

Bintang

1.406

Fork

88

Bahasa

JavaScript

Lisensi

—

Push terakhir

2 tahun yang lalu

JavaScript llm language-model pytorch gpu quantization llama llama2 huggingface ggml llamacpp

Belum ada intel terkait

Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.