attention-mechanisms

Triển khai RLHF (Học tăng cường từ phản hồi của con người) trên kiến trúc PaLM. Về cơ bản là ChatGPT nhưng sử dụng PaLM

Danh sách tài liệu nghiên cứu cực kỳ toàn diện về Vision Transformer/Attention, bao gồm các bài báo, mã nguồn và các trang web liên quan

Triển khai AudioLM, phương pháp mô hình hóa ngôn ngữ SOTA để tạo âm thanh từ Google Research, bằng Pytorch

Triển khai Toolformer, mô hình ngôn ngữ có khả năng sử dụng công cụ, bởi MetaAI

Triển khai Make-A-Video, trình tạo văn bản thành video SOTA mới từ Meta AI, bằng PyTorch

Triển khai Alphafold 3 từ Google Deepmind trong Pytorch.

Triển khai Band Split Roformer, mạng SOTA Attention cho việc tách nguồn âm nhạc từ ByteDance AI Labs

Triển khai Muse: Tạo văn bản thành hình ảnh thông qua Masked Generative Transformers, bằng PyTorch

Triển khai MeshGPT, công nghệ tạo lưới SOTA sử dụng Attention, trong Pytorch

Triển khai Phenaki Video bằng Pytorch, sử dụng Mask GIT để tạo video hướng dẫn bằng văn bản với độ dài lên đến 2 phút.

Triển khai cơ chế Attention cắm-và-chạy từ bài báo "LongNet: Scaling Transformers to 1,000,000,000 Tokens".

PyTorch Dual-Attention LSTM-Autoencoder cho chuỗi thời gian đa biến

Triển khai MagViT2 Tokenizer trong Pytorch

Triển khai MEGABYTE, dự đoán chuỗi triệu byte với Multiscale Transformers, bằng Pytorch.

Triển khai một lớp đơn của MMDiT, được đề xuất trong Stable Diffusion 3, bằng Pytorch

Triển khai Pytorch cho các cơ chế Attention, Vision Transformers, các mô hình kiểu MLP và CNN phổ biến.

Triển khai không chính thức của iTransformer - Dự báo chuỗi thời gian SOTA sử dụng mạng Attention, từ Tsinghua / Ant Group.

Triển khai cơ chế local windowed attention cho mô hình ngôn ngữ