attention

🧑‍🏫 साइड-बाय-साइड नोट्स के साथ डीप लर्निंग पेपर के 60+ कार्यान्वयन/ट्यूटोरियल 📝; जिसमें ट्रांसफॉर्मर (original, xl, switch, feedback, vit, ...), ऑप्टिमाइज़र (adam, adabelief, sophia, ...), gan (cyclegan, stylegan2, ...), 🎮 सुदृढीकरण सीखना (ppo, dqn), capsnet, डिस्ट 유नेशन, ... 🧠 शामिल हैं।

SGLang बड़े भाषा मॉडल और मल्टीमॉडल मॉडल के लिए एक उच्च-प्रदर्शन सर्विंग फ्रेमवर्क है।

डीप लर्निंग शोधकर्ताओं के लिए नेचुरल लैंग्वेज प्रोसेसिंग ट्यूटोरियल

उपलब्ध शोध साहित्य का उपयोग करके पहले सिद्धांतों से निर्मित Claude Mythos आर्किटेक्चर का सैद्धांतिक पुनर्निर्माण।

🍀 विभिन्न Attention Mechanisms, MLP, Re-parameter, Convolution का Pytorch कार्यान्वयन, जो शोध पत्रों को बेहतर ढंग से समझने में मददगार है।⭐⭐⭐

"Attention is All You Need" में दिए गए Transformer मॉडल का PyTorch कार्यान्वयन।

FlashInfer: LLM सर्विंग के लिए कर्नेल लाइब्रेरी

PyTorch और TorchText के साथ कुछ sequence-to-sequence (seq2seq) मॉडल लागू करने पर ट्यूटोरियल।

Transformer: "Attention Is All You Need" का PyTorch कार्यान्वयन।

Scenic: कंप्यूटर विज़न अनुसंधान और उससे आगे के लिए एक Jax लाइब्रेरी

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention भाषा, छवि और वीडियो मॉडल में एंड-टू-एंड मेट्रिक्स खोए बिना FlashAttention की तुलना में 2-5x गति प्राप्त करता है।

यह PASCAL VOC और COCO के साथ YOLOv4, attentive YOLOv4 और mobilenet YOLOv4 की एक pytorch रिपॉजिटरी है

सर्वश्रेष्ठ मल्टी-एजेंट पत्रों का संकलन

MetaAI के "Predict the Next Token and Diffuse Images with One Multi-Modal Model" (Transfusion) का Pytorch कार्यान्वयन

सरल CV प्रोजेक्ट्स का प्रतिकृति, जिसमें एट्रिब्यूशन, क्लासिफिकेशन, डिटेक्शन, कीपॉइंट डिटेक्शन आदि शामिल हैं।

C++ और CUDA में अपना खुद का उच्च-प्रदर्शन LLM इन्फेरेंस इंजन बनाएं - vLLM का एक छोटा संस्करण

[ICML2025] SpargeAttention: एक ट्रेनिंग-मुक्त स्पार्स अटेंशन जो किसी भी मॉडल के इन्फॉरेंस को गति देता है।

cuDNN Frontend, cuDNN लाइब्रेरी के लिए NVIDIA का आधुनिक, ओपन-सोर्स एंट्री पॉइंट है और उच्च-प्रदर्शन वाले ओपन-सोर्स कर्नेल का एक बढ़ता हुआ संग्रह है।

कॉम्बिनेटरियल ऑप्टिमाइज़ेशन (CO) के लिए रीइन्फोर्समेंट लर्निंग (RL) से संबंधित सभी चीज़ों के लिए एक PyTorch लाइब्रेरी।

Deepseek टीम के "Native Sparse Attention" पेपर में सुझाए गए स्पार्स अटेंशन पैटर्न का कार्यान्वयन।

मल्टी-लेबल टेक्स्ट क्लासिफिकेशन, मल्टी-लेबल क्लासिफिकेशन, टेक्स्ट क्लासिफिकेशन, BERT, seq2seq, अटेंशन।

[TNSRE 23] EEG Transformer 2.0. i. EEG डिकोडिंग के लिए कन्वर्जेशनल ट्रांसफॉर्मर। ii. नया विज़ुअलाइज़ेशन - क्लास एक्टिवेशन टोपोग्राफी।

"LongNet: Scaling Transformers to 1,000,000,000 Tokens" से प्लग एंड प्ले Attention का कार्यान्वयन।

llama3 इन्फरेंस को चरण-दर-चरण प्राप्त करें, मुख्य अवधारणाओं को समझें, प्रक्रिया व्युत्पत्ति में महारत हासिल करें और कोड लागू करें।

Keras beit, caformer, CMT, CoAtNet, convnext, davit, dino, efficientdet, edgenext, efficientformer, efficientnet, eva, fasternet, fastervit, fastvit, flexivit, gcvit, ghostnet, gpvit, hornet, hiera, iformer, inceptionnext, lcnet, levit, maxvit, mobilevit, moganet, nat, nfnets, pvt, swin, tinynet, tinyvit, uniformer, volo, vanillanet, yolor, yolov7, yolov8, yolox, gpt2, llama2, उर्फ kecam

Transformer मॉडल्स का Julia कार्यान्वयन

"SAITS: Self-Attention-based Imputation for Time Series" पेपर का आधिकारिक PyTorch कार्यान्वयन। कुशल टाइम-सीरीज़ इम्पुटेशन के लिए एक तेज़ और अत्याधुनिक (SOTA) डीप-लर्निंग न्यूरल नेटवर्क मॉडल (मशीन लर्निंग के साथ NaN गुम डेटा/मानों वाले बहुभिन्नरूपी अधूरे टाइम-सीरीज़ को इम्पुट करें)। https://arxiv.org/abs/2202.08516

हार्डवेयर-अनुकूल मॉडल आर्किटेक्चर डिज़ाइन करें और न्यूनतम प्रदर्शन हानि के साथ मौजूदा LLM को माइग्रेट करें