attention-mechanism

从头开始、一步步在 PyTorch 中实现类似 ChatGPT 的大型语言模型

Vision Transformer 的实现，一种仅使用单一 transformer 编码器即可在视觉分类中达到 SOTA 的简易方法，使用 Pytorch 实现

邱锡鹏《神经网络与深度学习》（蒲公英书）理论书 v2 与通识版

RWKV（发音为 RwaKuv）是一种具备卓越大型语言模型性能的 RNN，也可像 GPT 变换器那样直接训练（可并行化）。我们已达到 RWKV-7“Goose”阶段。它结合了 RNN 与变换器的优势——卓越性能、线性时间、恒定空间（无 kv-cache）、快速训练、无限上下文长度，以及免费句子嵌入。

简洁但完整的全注意力 Transformer，包含多篇论文的实验性功能

在 Pytorch 中实现 / 复制 DALL‑E，OpenAI 的文字转图像 Transformer。

一份全面的 Vision Transformer/Attention 论文清单，包含论文、代码与相关网站

RuVector 是一个高性能、实时、自学 AI 向量 GNN，内建 Rust 记忆体数据库

从零开始构建现代 LLM。逐行注释。用五岁小孩也能听懂的方式解释。

支持词级时间戳和置信度的多语言自动语音识别

Keras 注意力层（Luong 与 Bahdanau 评分）。

逐步学习 LLM 内部运作机制 - 从 Token 化（Tokenization）到 Attention 机制，再到推理优化。

在 Pytorch 中实现 Google Deepmind 的 SoundStorm（高效并行音频生成）

在 PyTorch 中实现 Perceiver（具备迭代式注意力的通用感知模型）

专注于基于 PyTorch 的神经机器翻译的 Sequence-to-sequence 框架

基于 TensorFlow 的 EEG 任务（信号）分类深度学习库。

精选的 NLP 资源列表，聚焦于 Transformer 网络、注意力机制、GPT、BERT、ChatGPT、LLMs 与迁移学习。

OpenSTL：时空预测学习的综合基准测试

在 Pytorch 中实现 TabTransformer，这是一种用于表格数据的 Attention 网络。

基于序列长度呈线性复杂度之注意力变体的 Transformer

[ECCV 2020] 用于真实图像恢复与增强的丰富特征学习。在图像去噪、超分辨率与图像增强方面达到 SOTA 结果。

基于 yolo-high-level 项目（检测/姿态/分类/分割）：包含 yolov5/v7/v8 核心、改进研究、SwinTransformer V2 与 Attention 系列、训练技巧、业务定制、工程部署 C

MORAN：用于场景文字识别的多对象矩形注意力网络

逐步实现 llama3 推理、掌握核心概念、掌握过程推导、实现代码。

[IGARSS'22]：基于 Transformer 的变化检测连体网络

FlashAttention (Metal 移植版本)

[CVPR 2021, Oral] PREDATOR：低重叠度 3D 点云配准。

使用模块化构建块建立高性能 AI 模型。

[ICLR2025 Spotlight🔥] TokenFormer 官方实现：通过代币化模型参数重新思考 Transformer 规模化

RT-2 的民主化，“RT-2：将视觉与语言转化为行动的新模型”。