lucidrains

Implementasi Vision Transformer, cara sederhana untuk mencapai SOTA dalam klasifikasi visi hanya dengan satu encoder transformer, di Pytorch

Implementasi DALL-E 2, jaringan saraf sintesis teks-ke-gambar terbaru dari OpenAI, dalam Pytorch

Implementasi Denoising Diffusion Probabilistic Model dalam Pytorch

Implementasi Imagen, Neural Network Text-to-Image dari Google, di PyTorch.

Implementasi RLHF (Reinforcement Learning with Human Feedback) di atas arsitektur PaLM. Pada dasarnya seperti ChatGPT tetapi menggunakan PaLM

Transformer full-attention yang ringkas namun lengkap dengan seperangkat fitur eksperimental yang menjanjikan dari berbagai makalah

Implementasi / replikasi DALL-E, Transformer Text-to-Image OpenAI, di Pytorch

Kuantisasi Vektor (dan Skalar) di Pytorch.

Implementasi fungsional paling sederhana dari Stylegan2, generative adversarial network tercanggih, di Pytorch. Memungkinkan setiap orang merasakan disentangle.

Implementasi AudioLM, pendekatan Language Modeling SOTA untuk pembuatan audio dari Google Research, dalam Pytorch

Lion, pengoptimal baru yang ditemukan oleh Google Brain menggunakan algoritma genetika yang diklaim lebih baik daripada Adam(w), dalam Pytorch

Implementasi Toolformer, Model Bahasa yang Dapat Menggunakan Alat, oleh MetaAI

Implementasi Make-A-Video, generator teks-ke-video SOTA baru dari Meta AI, dalam Pytorch

Implementasi tidak resmi Titans, memori SOTA untuk transformer, dalam Pytorch.

Implementasi GigaGAN, SOTA GAN baru dari Adobe. Puncak dari penelitian selama hampir satu dekade tentang GAN

Implementasi yang dapat digunakan dari "Bootstrap Your Own Latent" self-supervised learning dari Deepmind dalam Pytorch

Implementasi Alphafold 3 dari Google Deepmind di Pytorch

Implementasi GAN 'ringan', yang diusulkan dalam ICLR 2021, di PyTorch. Pembuatan gambar resolusi tinggi yang dapat dilatih dalam waktu satu atau dua hari

Implementasi SoundStorm, Efficient Parallel Audio Generation dari Google Deepmind, menggunakan PyTorch

Implementasi kerangka kerja pelatihan yang diusulkan dalam Self-Rewarding Language Model dari MetaAI

Implementasi PyTorch dari Transfusion, "Predict the Next Token and Diffuse Images with One Multi-Modal Model", dari MetaAI

Implementasi Video Diffusion Models, makalah baru Jonathan Ho yang memperluas DDPMs ke Pembuatan Video - dalam Pytorch

Implementasi Perceiver, General Perception dengan Iterative Attention, di Pytorch

Implementasi TabTransformer, jaringan perhatian untuk data tabulasi, di PyTorch

Solusi All-MLP untuk visi komputer, dari Google AI

Implementasi Band Split Roformer, jaringan Atensi SOTA untuk pemisahan sumber musik dari ByteDance AI Labs

Implementasi Muse: Text-to-Image Generation via Masked Generative Transformers, dalam Pytorch

Implementasi MeshGPT, generasi Mesh SOTA menggunakan Attention, dalam PyTorch

Transformer berdasarkan varian perhatian yang memiliki kompleksitas linier terhadap panjang urutan

Implementasi Rotary Embeddings dari makalah Roformer di Pytorch.

Implementasi pola sparse attention yang diusulkan oleh tim Deepseek dalam makalah "Native Sparse Attention" mereka

Implementasi Phenaki Video, yang menggunakan Mask GIT untuk menghasilkan video berpanduan teks dengan durasi hingga 2 menit, dalam Pytorch

Implementasi Voicebox, jaringan Text-to-speech SOTA baru dari MetaAI, dalam Pytorch

Implementasi MagViT2 Tokenizer di Pytorch

Cara sederhana untuk melacak versi Exponential Moving Average (EMA) dari model Pytorch Anda

Implementasi MEGABYTE, Memprediksi Urutan Sejuta-byte dengan Multiscale Transformers, di PyTorch

Implementasi π₀, arsitektur model fondasi robotik yang diusulkan oleh Physical Intelligence

Implementasi Enformer, jaringan attention dari Deepmind untuk memprediksi ekspresi gen, dalam Pytorch

Implementasi satu lapisan MMDiT, yang diusulkan dalam Stable Diffusion 3, di Pytorch

Implementasi 💍 Ring Attention, dari Liu dkk. di Berkeley AI, dalam Pytorch

Implementasi Classifier Free Guidance di Pytorch, dengan penekanan pada text conditioning, dan fleksibilitas untuk menyertakan berbagai model embedding teks

Implementasi tidak resmi iTransformer - Peramalan Rangka Waktu SOTA menggunakan jaringan Attention, dari Tsinghua / Ant group

Implementasi E(n)-Equivariant Graph Neural Networks di Pytorch

Implementasi E2-TTS, "Embarrassingly Easy Fully Non-Autoregressive Zero-Shot TTS", di PyTorch

Implementasi perhatian berjendela lokal (local windowed attention) untuk pemodelan bahasa

Implementation of Slot Attention from GoogleAI