RahulSChand/gpu_poor

@RahulSChand

किसी भी LLM के लिए token/s और GPU मेमोरी आवश्यकता की गणना करें। llama.cpp/ggml/bnb/QLoRA क्वांटाइजेशन का समर्थन करता है

↗ GitHub पर खोलें

स्टार

1,406

फ़ोर्क

भाषा

JavaScript

लाइसेंस

—

आख़िरी push

2 वर्ष पहले

JavaScript llm language-model pytorch gpu quantization llama llama2 huggingface ggml llamacpp

अभी कोई संबंधित intel नहीं

यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।

संबंधित intel (0)

अभी कोई संबंधित intel नहीं