lucidrains

Vision Transformer 的實作，一種僅使用單一 transformer 編碼器即可在視覺分類中達到 SOTA 的簡易方法，使用 Pytorch 實現

使用 PyTorch 實作的 DALL·E 2，OpenAI 更新的文字生成圖像神經網路

在 Pytorch 中實作去噪擴散概率模型

在 Pytorch 中實作 Google 的文字轉圖像神經網路 Imagen

在 PaLM 架構之上實作 RLHF（帶人類回饋的強化學習）。基本上是 ChatGPT，但使用 PaLM。

簡潔但完整的全注意力 Transformer，包含多篇論文的實驗性功能

在 Pytorch 中實作 / 重新實作 DALL‑E，OpenAI 的文字轉圖像 Transformer。

Vector (and Scalar) Quantization, in Pytorch

Stylegan2 的最簡實作，使用 Pytorch 的最先進生成對抗網路，讓每個人都能體驗解耦

在 PyTorch 中實現 AudioLM，這是一種來自 Google Research 的領先 (SOTA) 音訊生成語言建模方法

🦁 Lion，Google Brain 使用基因演算法發現的新優化器，據稱在 PyTorch 中比 Adam(w) 更優秀。

MetaAI 的 Toolformer（會使用工具的語言模型）實作

使用 PyTorch 實現 Make-A-Video，即 Meta AI 最新的 SOTA 文字轉影片生成器

在 PyTorch 中非官方實作 Titans，即 transformer 的 SOTA 記憶體

GigaGAN 實作，這是 Adobe 推出的全新 SOTA GAN。集結了近十年對 GAN 的研究成果。

使用 PyTorch 實作 Deepmind 的「Bootstrap Your Own Latent」自我監督式學習。

Google Deepmind 的 Alphafold 3 在 PyTorch 中的實作

使用 Pytorch 實作 ICLR 2021 所提出的「輕量級」GAN。可在一天或兩天內訓練完成的高解析度影像生成

在 Pytorch 中實作 Google Deepmind 的 SoundStorm（高效平行音訊生成）

MetaAI 所提出的 Self-Rewarding Language Model 訓練框架的實作

MetaAI 的 Transfusion Pytorch 實作，「使用一個多模態模型預測下一個 Token 並擴散影像」

視訊擴散模型實作，基於 Jonathan Ho 將 DDPM 擴展至視訊生成的新論文 - 使用 PyTorch

在 PyTorch 中實現 Perceiver（具備迭代式注意力的通用感知模型）

在 Pytorch 中實作 TabTransformer，這是一種用於表格資料的 Attention 網路。

來自 Google AI 的視覺 All-MLP 解決方案

實作 Band Split Roformer，這是位元組跳動 (ByteDance) AI 實驗室用於音樂音源分離的 SOTA Attention 網路

在 Pytorch 中實現 Muse：透過遮罩生成式 Transformer 的文字轉圖片生成

MeshGPT 實作，使用 Attention 的 SOTA 網格生成技術，基於 PyTorch

基於序列長度呈線性複雜度之注意力變體的 Transformer

在 Pytorch 中實作 Roformer 論文中的旋轉嵌入（Rotary Embeddings）

實作 Deepseek 團隊在其「Native Sparse Attention」論文中提出的稀疏注意力模式

Phenaki Video 的 PyTorch 實作，使用 Mask GIT 來產生長達 2 分鐘的文字引導影片

使用 PyTorch 實作 MetaAI 的全新 SOTA Text-to-speech 網路 Voicebox

在 Pytorch 中實作 MagViT2 Tokenizer

追蹤 PyTorch 模型指數移動平均（EMA）版本的好方法

在 Pytorch 中實作 MEGABYTE（透過多尺度 Transformer 預測百萬位元組序列）。

Physical Intelligence 所提出的機器人基礎模型架構 π₀ 的實作

Enformer 的 Pytorch 實作，這是 Deepmind 用於預測基因表現的注意力網路

Stable Diffusion 3 中提出的 MMDiT 單層實作（Pytorch 版）

在 Pytorch 中實作 Berkeley AI 的 Liu 等人提出的 💍 Ring Attention

Pytorch 中的無分類器引導 (Classifier Free Guidance) 實作，強調文字條件設定，並可靈活包含多個文字嵌入模型

iTransformer 非官方實作 - 基於 Attention 網路的 SOTA 時間序列預測，源自清華大學與螞蟻集團

E(n)-等變圖神經網路的 Pytorch 實作

E2-TTS 實作，「極致簡單的完全非自回歸零樣本 TTS」，基於 Pytorch

用於語言建模的局部視窗注意力機制實作

Implementation of Slot Attention from GoogleAI