attention-mechanism

PyTorch를 사용하여 처음부터 단계별로 ChatGPT와 유사한 LLM 구현하기

Pytorch में केवल एक सिंगल ट्रांसफॉर्मर एनकोडर के साथ विजन क्लासिफ़िकेशन में SOTA प्राप्त करने का एक सरल तरीका, Vision Transformer का कार्यान्वयन

किउ शीपेंग 'न्यूरल नेटवर्क और डीप लर्निंग' (डंडेलियन बुक) थ्योरी बुक v2 और जनरल वर्जन

RWKV (उच्चारण RwaKuv) बेहतरीन LLM प्रदर्शन वाला एक RNN है, जिसे GPT ट्रांसफार्मर की तरह सीधे प्रशिक्षित किया जा सकता है (पैरेललाइज़ेबल)। हम RWKV-7 "Goose" पर हैं। यह RNN और ट्रांसफार्मर के सर्वोत्तम गुणों को जोड़ता है - बेहतरीन प्रदर्शन, लीनियर टाइम, स्थिर स्पेस (कोई kv-cache नहीं), तेज़ प्रशिक्षण, अनंत ctx_len, और मुफ्त वाक्य एम्बेडिंग।

विभिन्न शोध पत्रों से आशाजनक प्रायोगिक सुविधाओं के सेट के साथ एक संक्षिप्त लेकिन पूर्ण फुल-अटेंशन ट्रांसफॉर्मर

Pytorch में OpenAI के टेक्स्ट टू इमेज ट्रांसफॉर्मर, DALL-E का कार्यान्वयन / प्रतिकृति

Vision Transformer/Attention की अत्यधिक व्यापक पेपर सूची, जिसमें पेपर, कोड और संबंधित वेबसाइटें शामिल हैं

RuVector एक उच्च-प्रदर्शन, रीयल-टाइम, सेल्फ-लर्निंग AI, वेक्टर GNN, मेमोरी DB है जिसे Rust में बनाया गया है।

शुरुआत से एक आधुनिक LLM बनाएं। हर लाइन पर कमेंट है। ऐसे समझाया गया है जैसे हम पाँच साल के बच्चे हों।

शब्द-स्तरीय टाइमस्टैम्प और कॉन्फिडेंस के साथ बहुभाषी स्वचालित वाक् पहचान (Multilingual ASR)

Keras Attention Layer (Luong और Bahdanau स्कोर)।

Google Deepmind द्वारा SoundStorm का कार्यान्वयन, Pytorch में कुशल समानांतर ऑडियो जनरेशन

LLM के आंतरिक कामकाज को चरण-दर-चरण सीखें - टोकनाइजेशन से लेकर अटेंशन और इन्फेरेंस ऑप्टिमाइजेशन तक।

Pytorch में Perceiver (इटरेटिव अटेंशन के साथ जनरल परसेप्शन) का कार्यान्वयन

PyTorch पर आधारित न्यूरल मशीन ट्रांसलेशन पर केंद्रित सीक्वेंस-टू-सीक्वेंस फ्रेमवर्क।

TensorFlow पर आधारित EEG कार्यों (सिग्नल) वर्गीकरण के लिए एक Deep Learning लाइब्रेरी।

Transformer नेटवर्क, अटेंशन मैकेनिज्म, GPT, BERT, ChatGPT, LLMs और ट्रांसफर लर्निंग पर केंद्रित NLP संसाधनों की एक क्यूरेटेड सूची।

OpenSTL: स्पैटियो-टैम्पोरल प्रेडिक्टिव लर्निंग का एक व्यापक बेंचमार्क

TabTransformer का कार्यान्वयन, Pytorch में टैबुलर डेटा के लिए अटेंशन नेटवर्क।

अटेंशन के एक प्रकार पर आधारित ट्रांसफॉर्मर, जिसमें सीक्वेंस लेंथ के संबंध में लीनियर कॉम्प्लेक्सिटी है

[ECCV 2020] वास्तविक इमेज रिस्टोरेशन और एन्हांसमेंट के लिए एनरिच्ड फीचर्स सीखना। इमेज डीनॉयज़िंग, सुपर-रिज़ॉल्यूशन और इमेज एन्हांसमेंट के लिए SOTA परिणाम

yolo-high-level प्रोजेक्ट (डिटेक्ट, पोज़, क्लासिफाई, सेगमेंट) पर आधारित: yolov5, yolov7, yolov8 कोर, सुधार अनुसंधान, SwintransformV2 और अटेंशन सीरीज़ शामिल हैं। प्रशिक्षण कौशल, व्यावसायिक अनुकूलन, इंजीनियरिंग परिनियोजन।

MORAN: सीन टेक्स्ट रिकग्निशन के लिए एक मल्टी-ऑब्जेक्ट रेक्टिफाइड अटेंशन नेटवर्क।

llama3 इन्फरेंस को चरण-दर-चरण प्राप्त करें, मुख्य अवधारणाओं को समझें, प्रक्रिया व्युत्पत्ति में महारत हासिल करें और कोड लागू करें।

[IGARSS'22]: चेंज डिटेक्शन के लिए एक ट्रांसफॉर्मर-आधारित सियामीज़ नेटवर्क

FlashAttention (Metal पोर्ट)

[CVPR 2021, Oral] PREDATOR: कम ओवरलैप वाले 3D पॉइंट क्लाउड का रजिस्ट्रेशन।

मॉड्यूलर बिल्डिंग ब्लॉक्स के साथ उच्च-प्रदर्शन वाले AI मॉडल बनाएं

[ICLR2025 Spotlight🔥] TokenFormer का आधिकारिक कार्यान्वयन: टोकनाइज्ड मॉडल पैरामीटर्स के साथ ट्रांसफॉर्मर स्केलिंग पर पुनर्विचार

RT-2 का लोकतंत्रीकरण "RT-2: नया मॉडल विजन और भाषा को क्रिया में अनुवादित करता है"