lucidrains

Vision Transformer 的实现，一种仅使用单一 transformer 编码器即可在视觉分类中达到 SOTA 的简易方法，使用 Pytorch 实现

使用 PyTorch 实现的 DALL·E 2，OpenAI 更新的文字生成图像神经网络

在 Pytorch 中实现去噪扩散概率模型

在 Pytorch 中实现 Google 的文字到图像神经网络 Imagen

在 PaLM 架构之上实现 RLHF（带人类反馈的强化学习）。基本上是 ChatGPT，但使用 PaLM。

简洁但完整的全注意力 Transformer，包含多篇论文的实验性功能

在 Pytorch 中实现 / 复制 DALL‑E，OpenAI 的文字转图像 Transformer。

Vector (and Scalar) Quantization, in Pytorch

Stylegan2 的最简实现，使用 Pytorch 的最先进生成对抗网络，让每个人都能体验解耦

在 PyTorch 中实现 AudioLM，这是一种来自 Google Research 的领先 (SOTA) 音频生成语言建模方法

🦁 Lion，Google Brain 使用遗传算法发现的新优化器，据称在 PyTorch 中比 Adam(w) 更优秀。

MetaAI 的 Toolformer（会使用工具的语言模型）实现

使用 PyTorch 实现 Make-A-Video，即 Meta AI 最新的 SOTA 文本转视频生成器

在 PyTorch 中非官方实现 Titans，即 transformer 的 SOTA 内存

GigaGAN 实现，这是 Adobe 推出的全新 SOTA GAN。集结了近十年对 GAN 的研究成果。

使用 PyTorch 实现 Deepmind 的“Bootstrap Your Own Latent”自我监督式学习。

Google Deepmind 的 Alphafold 3 在 PyTorch 中的实现

使用 Pytorch 实现 ICLR 2021 所提出的“轻量级”GAN。可在一天或两天内训练完成的高分辨率图像生成

在 Pytorch 中实现 Google Deepmind 的 SoundStorm（高效并行音频生成）

MetaAI 所提出的 Self-Rewarding Language Model 训练框架的实现

MetaAI 的 Transfusion Pytorch 实现，“使用一个多模态模型预测下一个 Token 并扩散图像”

视频扩散模型实现，基于 Jonathan Ho 将 DDPM 扩展至视频生成的新论文 - 使用 PyTorch

在 PyTorch 中实现 Perceiver（具备迭代式注意力的通用感知模型）

在 Pytorch 中实现 TabTransformer，这是一种用于表格数据的 Attention 网络。

来自 Google AI 的视觉 All-MLP 解决方案

实现 Band Split Roformer，这是字节跳动 (ByteDance) AI 实验室用于音乐音源分离的 SOTA Attention 网络

在 Pytorch 中实现 Muse：通过遮罩生成式 Transformer 的文本转图片生成

MeshGPT 实现，使用 Attention 的 SOTA 网格生成技术，基于 PyTorch

基于序列长度呈线性复杂度之注意力变体的 Transformer

在 Pytorch 中实现 Roformer 论文中的旋转嵌入（Rotary Embeddings）

实现 Deepseek 团队在其“Native Sparse Attention”论文中提出的稀疏注意力模式

Phenaki Video 的 PyTorch 实现，使用 Mask GIT 来生成长达 2 分钟的文本引导视频

使用 PyTorch 实现 MetaAI 的全新 SOTA Text-to-speech 网络 Voicebox

在 Pytorch 中实现 MagViT2 Tokenizer

跟踪 PyTorch 模型指数移动平均（EMA）版本的好方法

在 Pytorch 中实现 MEGABYTE（通过多尺度 Transformer 预测百万字节序列）。

Physical Intelligence 所提出的机器人基础模型架构 π₀ 的实现

Enformer 的 Pytorch 实现，这是 Deepmind 用于预测基因表达的注意力网络

Stable Diffusion 3 中提出的 MMDiT 单层实现（Pytorch 版）

在 Pytorch 中实现 Berkeley AI 的 Liu 等人提出的 💍 Ring Attention

Pytorch 中的无分类器引导 (Classifier Free Guidance) 实现，强调文字条件设定，并可灵活包含多个文字嵌入模型

iTransformer 非官方实现 - 基于 Attention 网络的 SOTA 时间序列预测，源自清华大学与蚂蚁集团

E(n)-等变图神经网络的 Pytorch 实现

E2-TTS 实现，“极致简单的完全非自回归零样本 TTS”，基于 Pytorch

用于语言建模的局部窗口注意力机制实现

Implementation of Slot Attention from GoogleAI