lucidrains

Triển khai Vision Transformer, một cách đơn giản để đạt trạng thái tối tân (SOTA) trong phân loại thị giác chỉ với một transformer encoder duy nhất, trên PyTorch

Triển khai DALL-E 2, mạng thần kinh tổng hợp văn bản thành hình ảnh đã cập nhật của OpenAI, bằng PyTorch

Triển khai mô hình Denoising Diffusion Probabilistic Model trong Pytorch

Bản cài đặt Imagen, Mạng Neural Chuyển văn bản thành hình ảnh của Google, bằng Pytorch

Triển khai RLHF (Học tăng cường từ phản hồi của con người) trên kiến trúc PaLM. Về cơ bản là ChatGPT nhưng sử dụng PaLM

Một transformer full-attention súc tích nhưng đầy đủ với tập hợp các tính năng thử nghiệm đầy hứa hẹn từ các tài liệu nghiên cứu khác nhau

Cài đặt / tái tạo DALL-E, Transformer Văn bản sang Hình ảnh của OpenAI, bằng PyTorch

Lượng tử hóa Vector (và Scalar) trong PyTorch

Bản cài đặt hoạt động đơn giản nhất của Stylegan2, mạng đối kháng tạo sinh tiên tiến nhất, bằng PyTorch. Giúp mọi người có thể trải nghiệm sự tách rời yếu tố

Triển khai AudioLM, phương pháp mô hình hóa ngôn ngữ SOTA để tạo âm thanh từ Google Research, bằng Pytorch

🦁 Lion, bộ tối ưu hóa mới do Google Brain phát hiện bằng thuật toán di truyền, được cho là tốt hơn Adam(w), triển khai trong PyTorch

Triển khai Toolformer, mô hình ngôn ngữ có khả năng sử dụng công cụ, bởi MetaAI

Triển khai Make-A-Video, trình tạo văn bản thành video SOTA mới từ Meta AI, bằng PyTorch

Bản cài đặt không chính thức của Titans, bộ nhớ SOTA cho transformers, bằng PyTorch

Triển khai GigaGAN, SOTA GAN mới từ Adobe. Đỉnh cao của gần một thập kỷ nghiên cứu về GAN

Bản triển khai khả dụng cho học tự giám sát "Bootstrap Your Own Latent" từ Deepmind bằng PyTorch

Triển khai Alphafold 3 từ Google Deepmind trong Pytorch.

Triển khai 'lightweight' GAN trong Pytorch, được đề xuất tại ICLR 2021. Tạo ảnh độ phân giải cao có thể huấn luyện trong vòng một hoặc hai ngày

Bản cài đặt SoundStorm, Tạo âm thanh song song hiệu quả từ Google Deepmind, bằng PyTorch

Triển khai framework huấn luyện được đề xuất trong Self-Rewarding Language Model, từ MetaAI

Phiên bản triển khai PyTorch của Transfusion, "Predict the Next Token and Diffuse Images with One Multi-Modal Model", từ MetaAI.

Cài đặt Video Diffusion Models, bài báo mới của Jonathan Ho mở rộng DDPMs sang tạo video - bằng PyTorch

Triển khai Perceiver, General Perception with Iterative Attention, trong Pytorch

Triển khai TabTransformer, mạng attention cho dữ liệu dạng bảng, trong PyTorch

Giải pháp All-MLP cho Thị giác máy tính từ Google AI

Triển khai Band Split Roformer, mạng SOTA Attention cho việc tách nguồn âm nhạc từ ByteDance AI Labs

Triển khai Muse: Tạo văn bản thành hình ảnh thông qua Masked Generative Transformers, bằng PyTorch

Triển khai MeshGPT, công nghệ tạo lưới SOTA sử dụng Attention, trong Pytorch

Transformer dựa trên một biến thể của cơ chế attention có độ phức tạp tuyến tính so với độ dài chuỗi.

Triển khai Rotary Embeddings từ bài báo Roformer trong Pytorch.

Triển khai mô hình sparse attention được đề xuất bởi nhóm Deepseek trong bài báo "Native Sparse Attention"

Triển khai Phenaki Video bằng Pytorch, sử dụng Mask GIT để tạo video hướng dẫn bằng văn bản với độ dài lên đến 2 phút.

Triển khai Voicebox, mạng chuyển văn bản thành giọng nói SOTA mới từ MetaAI, bằng Pytorch

Triển khai MagViT2 Tokenizer trong Pytorch

Một cách đơn giản để theo dõi phiên bản Trung bình Động Hàm mũ (EMA) của mô hình Pytorch của bạn

Triển khai MEGABYTE, dự đoán chuỗi triệu byte với Multiscale Transformers, bằng Pytorch.

Triển khai π₀, kiến trúc mô hình nền tảng robot do Physical Intelligence đề xuất.

Triển khai Enformer, mạng attention của Deepmind để dự đoán biểu hiện gen, bằng Pytorch.

Triển khai một lớp đơn của MMDiT, được đề xuất trong Stable Diffusion 3, bằng Pytorch

Triển khai 💍 Ring Attention từ Liu và cộng sự tại Berkeley AI, bằng Pytorch

Triển khai Classifier Free Guidance trong Pytorch, tập trung vào điều kiện văn bản và linh hoạt để bao gồm nhiều mô hình nhúng văn bản

Triển khai không chính thức của iTransformer - Dự báo chuỗi thời gian SOTA sử dụng mạng Attention, từ Tsinghua / Ant Group.

Triển khai E(n)-Equivariant Graph Neural Networks trong Pytorch

Triển khai E2-TTS, "Embarrassingly Easy Fully Non-Autoregressive Zero-Shot TTS", bằng Pytorch

Triển khai cơ chế local windowed attention cho mô hình ngôn ngữ

Implementation of Slot Attention from GoogleAI