attention

🧑‍🏫 60+ 深度學習論文實作與教學，附並排筆記 📝；包括 transformers（原版、xl、switch、feedback、vit 等）、optimizers（adam、adabelief、sophia 等）、GAN（cyclegan、stylegan2 等）、🎮 強化學習（ppo、dqn）、capsnet、蒸餾等 🧠

SGLang 是針對大型語言模型與多模態模型的高效能服務框架

深度學習研究者的自然語言處理教學

從第一原理出發，利用現有研究文獻對 Claude Mythos 架構進行理論重建。

🍀 用 PyTorch 實作的各種注意力機制、MLP、再參數化、卷積，助於深入理解論文

使用 PyTorch 實作《Attention is All You Need》中的 Transformer 模型

FlashInfer：大型語言模型服務的核心函式庫

使用 PyTorch 與 TorchText 實作幾種序列到序列（seq2seq）模型的教學。

Transformer：PyTorch 實作「Attention Is All You Need」

Scenic：一個用於電腦視覺研究及更廣泛應用的Jax庫

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention 在速度上比 FlashAttention 提升 2-5 倍，且不損失語言、影像與影片模型的端到端指標

這是 YOLOv4、專注力 YOLOv4 與基於 PASCAL VOC 和 COCO 的 mobilenet YOLOv4 的 PyTorch 儲存庫

最佳多代理論文彙編

MetaAI 的 Transfusion Pytorch 實作，「使用一個多模態模型預測下一個 Token 並擴散影像」

簡單 CV 專案的複現，包含注意力機制、分類、檢測、關鍵點檢測等。

使用 C++ 與 CUDA 建構你自己的高效能 LLM 推理引擎 - vLLM 的精簡版

[ICML2025] SpargeAttention：一種無需訓練的稀疏注意力機制，可加速任何模型的推論。

cuDNN Frontend 是 NVIDIA 的現代化開源 cuDNN 函式庫入口，並提供日益增加的高效能開源核心集合。

一個用於組合優化（CO）強化學習（RL）全方位功能的 PyTorch 函式庫

實作 Deepseek 團隊在其「Native Sparse Attention」論文中提出的稀疏注意力模式

多標籤文字分類，多標籤分類，文字分類，multi-label，classifier，text classification，BERT，seq2seq，attention，multi-label-classification

[TNSRE 23] EEG Transformer 2.0. i. 用於 EEG 解碼的 Convolutional Transformer。ii. 新穎的視覺化技術 - 類別活化地形圖（Class Activation Topography）。

實作來自「LongNet: Scaling Transformers to 1,000,000,000 Tokens」的隨插即用 Attention

逐步實現 llama3 推論、掌握核心概念、掌握過程推導、實作程式碼。

Keras beit,caformer,CMT,CoAtNet,convnext,davit,dino,efficientdet,edgenext,efficientformer,efficientnet,eva,fasternet,fastervit,fastvit,flexivit,gcvit,ghostnet,gpvit,hornet,hiera,iformer,inceptionnext,lcnet,levit,maxvit,mobilevit,moganet,nat,nfnets,pvt,swin,tinynet,tinyvit,uniformer,volo,vanillanet,yolor,yolov7,yolov8,yolox,gpt2,llama2, 別名 kecam

Transformer 模型的 Julia 實作

論文「SAITS: Self-Attention-based Imputation for Time Series」的官方 PyTorch 實作。這是一個用於高效時間序列插補的快速且最先進（SOTA）深度學習神經網路模型（利用機器學習填補包含 NaN 缺失值的多變量不完整時間序列）。https://arxiv.org/abs/2202.08516

Design hardware-friendly model architectures and migrate existing LLMs with minimal performance loss