BlinkDL/RWKV-LM
@BlinkDLRWKV (उच्चारण RwaKuv) बेहतरीन LLM प्रदर्शन वाला एक RNN है, जिसे GPT ट्रांसफार्मर की तरह सीधे प्रशिक्षित किया जा सकता है (पैरेललाइज़ेबल)। हम RWKV-7 "Goose" पर हैं। यह RNN और ट्रांसफार्मर के सर्वोत्तम गुणों को जोड़ता है - बेहतरीन प्रदर्शन, लीनियर टाइम, स्थिर स्पेस (कोई kv-cache नहीं), तेज़ प्रशिक्षण, अनंत ctx_len, और मुफ्त वाक्य एम्बेडिंग।
स्टार
14,695
फ़ोर्क
1,021
भाषा
Python
लाइसेंस
Apache-2.0
आख़िरी push
1 सप्ताह पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।