lucidrains

Pytorch में केवल एक सिंगल ट्रांसफॉर्मर एनकोडर के साथ विजन क्लासिफ़िकेशन में SOTA प्राप्त करने का एक सरल तरीका, Vision Transformer का कार्यान्वयन

Pytorch में DALL-E 2 का कार्यान्वयन, OpenAI का अद्यतन टेक्स्ट-टू-इमेज सिंथेसिस तंत्रिका नेटवर्क

Pytorch में Denoising Diffusion Probabilistic Model का कार्यान्वयन

Pytorch में Google के Text-to-Image न्यूरल नेटवर्क, Imagen का कार्यान्वयन।

PaLM आर्किटेक्चर के ऊपर RLHF (Reinforcement Learning with Human Feedback) का कार्यान्वयन। मूल रूप से PaLM के साथ ChatGPT जैसा।

विभिन्न शोध पत्रों से आशाजनक प्रायोगिक सुविधाओं के सेट के साथ एक संक्षिप्त लेकिन पूर्ण फुल-अटेंशन ट्रांसफॉर्मर

Pytorch में OpenAI के टेक्स्ट टू इमेज ट्रांसफॉर्मर, DALL-E का कार्यान्वयन / प्रतिकृति

PyTorch में वेक्टर (और स्केलर) क्वांटाइजेशन

Pytorch में Stylegan2 (अत्याधुनिक जनरेटिव एडवरसarial नेटवर्क) का सबसे सरल काम करने वाला कार्यान्वयन। सभी को डिसएंटैंगलमेंट का अनुभव करने में सक्षम बनाता है।

Pytorch में Google Research के ऑडियो जनरेशन के लिए SOTA लैंग्वेज मॉडलिंग अप्रोच AudioLM का कार्यान्वयन

🦁 Lion, Pytorch में genetic algorithms का उपयोग करके Google Brain द्वारा खोजा गया नया optimizer जो कथित तौर पर Adam(w) से बेहतर है

MetaAI द्वारा टूलफ़ॉर्मर का कार्यान्वयन, भाषा मॉडल जो टूल का उपयोग कर सकते हैं

Make-A-Video का कार्यान्वयन, Meta AI से नया SOTA टेक्स्ट-टू-वीडियो जनरेटर, Pytorch में

PyTorch में transformers के लिए SOTA मेमोरी, Titans का अनऑफिशियल इम्प्लीमेंटेशन

GigaGAN का कार्यान्वयन, Adobe का नया SOTA GAN। GANs पर लगभग एक दशक के शोध का परिणाम

Pytorch में Deepmind द्वारा "Bootstrap Your Own Latent" सेल्फ-सुपरवाइज्ड लर्निंग का उपयोग करने योग्य कार्यान्वयन।

Pytorch में Google Deepmind के Alphafold 3 का कार्यान्वयन

Pytorch में ICLR 2021 में प्रस्तावित 'lightweight' GAN का कार्यान्वयन। उच्च रिज़ॉल्यूशन वाली इमेज जनरेशन जिसे एक या दो दिन के भीतर प्रशिक्षित किया जा सकता है

Google Deepmind द्वारा SoundStorm का कार्यान्वयन, Pytorch में कुशल समानांतर ऑडियो जनरेशन

MetaAI के Self-Rewarding Language Model में प्रस्तावित ट्रेनिंग फ्रेमवर्क का कार्यान्वयन।

MetaAI के "Predict the Next Token and Diffuse Images with One Multi-Modal Model" (Transfusion) का Pytorch कार्यान्वयन

Video Diffusion Models का कार्यान्वयन, जोनाथन हो का नया पेपर जो DDPMs को वीडियो जनरेशन तक बढ़ाता है - Pytorch में

Pytorch में Perceiver (इटरेटिव अटेंशन के साथ जनरल परसेप्शन) का कार्यान्वयन

TabTransformer का कार्यान्वयन, Pytorch में टैबुलर डेटा के लिए अटेंशन नेटवर्क।

Google AI द्वारा विज़न के लिए एक ऑल-MLP समाधान

ByteDance AI Labs द्वारा संगीत स्रोत पृथक्करण के लिए SOTA अटेंशन नेटवर्क, Band Split Roformer का कार्यान्वयन।

Pytorch में Muse का कार्यान्वयन: Masked Generative Transformers के माध्यम से टेक्स्ट-टू-इमेज जनरेशन

Pytorch में अटेंशन का उपयोग करके SOTA मेश जनरेशन, MeshGPT का कार्यान्वयन।

अटेंशन के एक प्रकार पर आधारित ट्रांसफॉर्मर, जिसमें सीक्वेंस लेंथ के संबंध में लीनियर कॉम्प्लेक्सिटी है

Pytorch में Roformer पेपर से Rotary Embeddings का कार्यान्वयन।

Deepseek टीम के "Native Sparse Attention" पेपर में सुझाए गए स्पार्स अटेंशन पैटर्न का कार्यान्वयन।

Pytorch में Phenaki Video का कार्यान्वयन, जो 2 मिनट तक के टेक्स्ट-गाइडेड वीडियो बनाने के लिए Mask GIT का उपयोग करता है।

Pytorch में MetaAI से Voicebox, नए SOTA Text-to-speech नेटवर्क का कार्यान्वयन

Pytorch में MagViT2 Tokenizer का कार्यान्वयन

अपने Pytorch मॉडल के एक्सपोनेंशियल मूविंग एवरेज (EMA) संस्करण को ट्रैक करने का एक सरल तरीका।

MEGABYTE का कार्यान्वयन, Pytorch में मल्टीस्केल ट्रांसफॉर्मर्स के साथ मिलियन-बाइट अनुक्रमों की भविष्यवाणी

Physical Intelligence द्वारा प्रस्तावित रोबोटिक फाउंडेशन मॉडल आर्किटेक्चर π₀ का कार्यान्वयन।

Pytorch में जीन अभिव्यक्ति की भविष्यवाणी के लिए Deepmind के अटेंशन नेटवर्क, Enformer का कार्यान्वयन

Pytorch में Stable Diffusion 3 में प्रस्तावित MMDiT की एक एकल परत का कार्यान्वयन

Pytorch में Berkeley AI के Liu et al. द्वारा 💍 Ring Attention का कार्यान्वयन

Pytorch में क्लासिफायर फ्री गाइडेंस का कार्यान्वयन, जिसमें टेक्स्ट कंडीशनिंग और कई टेक्स्ट एम्बेडिंग मॉडल को शामिल करने की सुविधा पर जोर दिया गया है।

iTransformer का अनौपचारिक कार्यान्वयन - Tsinghua और Ant group द्वारा Attention नेटवर्क का उपयोग करके SOTA टाइम सीरीज़ फोरकास्टिंग

Pytorch में E(n)-Equivariant ग्राफ न्यूरल नेटवर्क का कार्यान्वयन

Pytorch में E2-TTS, "Embarrassingly Easy Fully Non-Autoregressive Zero-Shot TTS" का कार्यान्वयन

लैंग्वेज मॉडलिंग के लिए लोकल विंडोएड अटेंशन का कार्यान्वयन

Implementation of Slot Attention from GoogleAI