attention-mechanisms

在 PaLM 架構之上實作 RLHF（帶人類回饋的強化學習）。基本上是 ChatGPT，但使用 PaLM。

一份全面的 Vision Transformer/Attention 論文清單，包含論文、程式碼與相關網站

在 PyTorch 中實現 AudioLM，這是一種來自 Google Research 的領先 (SOTA) 音訊生成語言建模方法

MetaAI 的 Toolformer（會使用工具的語言模型）實作

使用 PyTorch 實現 Make-A-Video，即 Meta AI 最新的 SOTA 文字轉影片生成器

Google Deepmind 的 Alphafold 3 在 PyTorch 中的實作

實作 Band Split Roformer，這是位元組跳動 (ByteDance) AI 實驗室用於音樂音源分離的 SOTA Attention 網路

在 Pytorch 中實現 Muse：透過遮罩生成式 Transformer 的文字轉圖片生成

MeshGPT 實作，使用 Attention 的 SOTA 網格生成技術，基於 PyTorch

Phenaki Video 的 PyTorch 實作，使用 Mask GIT 來產生長達 2 分鐘的文字引導影片

實作來自「LongNet: Scaling Transformers to 1,000,000,000 Tokens」的隨插即用 Attention

用於多變量時間序列的 PyTorch 雙注意力 LSTM 自動編碼器

在 Pytorch 中實作 MagViT2 Tokenizer

在 Pytorch 中實作 MEGABYTE（透過多尺度 Transformer 預測百萬位元組序列）。

Stable Diffusion 3 中提出的 MMDiT 單層實作（Pytorch 版）

🦖 熱門注意力機制、Vision Transformers、類 MLP 模型與 CNN 的 PyTorch 實作

iTransformer 非官方實作 - 基於 Attention 網路的 SOTA 時間序列預測，源自清華大學與螞蟻集團

用於語言建模的局部視窗注意力機制實作