RahulSChand/gpu_poor

Tính toán tốc độ token/s và yêu cầu bộ nhớ GPU cho bất kỳ LLM nào. Hỗ trợ lượng tử hóa llama.cpp/ggml/bnb/QLoRA.

↗ Mở trên GitHub

Sao

1.406

Fork

88

Ngôn ngữ

JavaScript

Giấy phép

—

Push gần nhất

2 năm trước

JavaScript llm language-model pytorch gpu quantization llama llama2 huggingface ggml llamacpp

Chưa có intel liên quan

Kho mã này chưa xuất hiện trong bất kỳ nguồn nào radar theo dõi. Bộ thu thập chạy theo lịch — hãy quay lại khi nó bao quát kho mã này.