attention-mechanisms

在 PaLM 架构之上实现 RLHF（带人类反馈的强化学习）。基本上是 ChatGPT，但使用 PaLM。

一份全面的 Vision Transformer/Attention 论文清单，包含论文、代码与相关网站

在 PyTorch 中实现 AudioLM，这是一种来自 Google Research 的领先 (SOTA) 音频生成语言建模方法

MetaAI 的 Toolformer（会使用工具的语言模型）实现

使用 PyTorch 实现 Make-A-Video，即 Meta AI 最新的 SOTA 文本转视频生成器

Google Deepmind 的 Alphafold 3 在 PyTorch 中的实现

实现 Band Split Roformer，这是字节跳动 (ByteDance) AI 实验室用于音乐音源分离的 SOTA Attention 网络

在 Pytorch 中实现 Muse：通过遮罩生成式 Transformer 的文本转图片生成

MeshGPT 实现，使用 Attention 的 SOTA 网格生成技术，基于 PyTorch

Phenaki Video 的 PyTorch 实现，使用 Mask GIT 来生成长达 2 分钟的文本引导视频

实现来自“LongNet: Scaling Transformers to 1,000,000,000 Tokens”的随插即用 Attention

用于多变量时间序列的 PyTorch 双注意力 LSTM 自动编码器

在 Pytorch 中实现 MagViT2 Tokenizer

在 Pytorch 中实现 MEGABYTE（通过多尺度 Transformer 预测百万字节序列）。

Stable Diffusion 3 中提出的 MMDiT 单层实现（Pytorch 版）

🦖 热门注意力机制、Vision Transformers、类 MLP 模型与 CNN 的 PyTorch 实现

iTransformer 非官方实现 - 基于 Attention 网络的 SOTA 时间序列预测，源自清华大学与蚂蚁集团

用于语言建模的局部窗口注意力机制实现