attention

🧑‍🏫 60+ 深度学习论文实现与教程，附并排笔记 📝；包括 transformers（原版、xl、switch、feedback、vit 等）、optimizers（adam、adabelief、sophia 等）、GAN（cyclegan、stylegan2 等）、🎮 强化学习（ppo、dqn）、capsnet、蒸馏等 🧠

SGLang 是针对大型语言模型与多模态模型的高性能服务框架

深度学习研究者的自然语言处理教程

从第一原理出发，利用现有研究文献对 Claude Mythos 架构进行理论重建。

🍀 Pytorch 实现的各种 Attention 机制、MLP、Re-parameter、Convolution，有助于进一步理解论文

使用 PyTorch 实现《Attention is All You Need》中的 Transformer 模型

FlashInfer：大型语言模型服务的内核库

使用 PyTorch 与 TorchText 实作几种序列到序列（seq2seq）模型的教学。

Transformer：PyTorch 实作「Attention Is All You Need」

Scenic：一个用于计算机视觉研究及更广泛应用的Jax库

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention 在速度上比 FlashAttention 提升 2-5 倍，且不损失语言、影像与影片模型的端到端指标

这是 YOLOv4、注意力 YOLOv4 以及基于 PASCAL VOC 和 COCO 的 mobilenet YOLOv4 的 PyTorch 仓库

最佳多智能体论文汇编

MetaAI 的 Transfusion Pytorch 实现，“使用一个多模态模型预测下一个 Token 并扩散图像”

简单 CV 项目的复现，包含注意力机制、分类、检测、关键点检测等。

使用 C++ 与 CUDA 构建你自己的高性能 LLM 推理引擎 - vLLM 的精简版

[ICML2025] SpargeAttention：一种无需训练的稀疏注意力机制，可加速任何模型的推理。

cuDNN Frontend 是 NVIDIA 的现代化开源 cuDNN 库入口，并提供日益增加的高性能开源核心集合。

一个用于组合优化（CO）强化学习（RL）全方位功能的 PyTorch 库

实现 Deepseek 团队在其“Native Sparse Attention”论文中提出的稀疏注意力模式

多标签文本分类，多标签分类，文本分类，multi-label，classifier，text classification，BERT，seq2seq，attention，multi-label-classification

[TNSRE 23] EEG Transformer 2.0. i. 用于 EEG 解码的 Convolutional Transformer。ii. 新颖的可视化技术 - 类别活化地形图（Class Activation Topography）。

实现来自“LongNet: Scaling Transformers to 1,000,000,000 Tokens”的随插即用 Attention

逐步实现 llama3 推理、掌握核心概念、掌握过程推导、实现代码。

Keras beit,caformer,CMT,CoAtNet,convnext,davit,dino,efficientdet,edgenext,efficientformer,efficientnet,eva,fasternet,fastervit,fastvit,flexivit,gcvit,ghostnet,gpvit,hornet,hiera,iformer,inceptionnext,lcnet,levit,maxvit,mobilevit,moganet,nat,nfnets,pvt,swin,tinynet,tinyvit,uniformer,volo,vanillanet,yolor,yolov7,yolov8,yolox,gpt2,llama2, 别名 kecam

Transformer 模型的 Julia 实现

论文「SAITS: Self-Attention-based Imputation for Time Series」的官方 PyTorch 实现。这是一个用于高效时间序列插补的快速且最先进（SOTA）深度学习神经网络模型（利用机器学习填补包含 NaN 缺失值的多变量不完整时间序列）。https://arxiv.org/abs/2202.08516

Design hardware-friendly model architectures and migrate existing LLMs with minimal performance loss