attention-mechanism

從頭開始、一步步在 PyTorch 中實作類似 ChatGPT 的大型語言模型

Vision Transformer 的實作，一種僅使用單一 transformer 編碼器即可在視覺分類中達到 SOTA 的簡易方法，使用 Pytorch 實現

邱錫鵬《神經網路與深度學習》（蒲公英書）理論書 v2 與通識版

RWKV（發音為 RwaKuv）是一種具備卓越大型語言模型效能的 RNN，也可像 GPT 變換器那樣直接訓練（可平行化）。我們已達到 RWKV-7「Goose」階段。它結合了 RNN 與變換器的優勢——卓越效能、線性時間、恆定空間（無 kv-cache）、快速訓練、無限上下文長度，以及免費的句子嵌入。

簡潔但完整的全注意力 Transformer，包含多篇論文的實驗性功能

在 Pytorch 中實作 / 重新實作 DALL‑E，OpenAI 的文字轉圖像 Transformer。

一份全面的 Vision Transformer/Attention 論文清單，包含論文、程式碼與相關網站

RuVector 是一個高性能、實時、自學 AI 向量 GNN，內建 Rust 記憶體資料庫

從零開始構建現代 LLM。逐行註解。用五歲小孩也能聽懂的方式解釋。

支援字詞級時間戳記與信心度的多語言自動語音辨識

Keras 注意力層（Luong 與 Bahdanau 評分）。

在 Pytorch 中實作 Google Deepmind 的 SoundStorm（高效平行音訊生成）

逐步學習 LLM 內部運作機制 - 從 Token 化（Tokenization）到 Attention 機制，再到推論最佳化。

在 PyTorch 中實現 Perceiver（具備迭代式注意力的通用感知模型）

專注於基於 PyTorch 的神經機器翻譯的 Sequence-to-sequence 框架

基於 TensorFlow 的 EEG 任務（訊號）分類深度學習函式庫。

精選的 NLP 資源清單，聚焦於 Transformer 網路、注意力機制、GPT、BERT、ChatGPT、LLMs 與遷移學習。

OpenSTL：時空預測學習的綜合基準測試

在 Pytorch 中實作 TabTransformer，這是一種用於表格資料的 Attention 網路。

基於序列長度呈線性複雜度之注意力變體的 Transformer

[ECCV 2020] 用於真實圖像修復與增強的豐富特徵學習。在圖像去雜訊、超解析度與圖像增強方面達到 SOTA 結果。

基於 yolo-high-level 專案（偵測/姿態/分類/分割）：包含 yolov5/v7/v8 核心、改進研究、SwinTransformer V2 與 Attention 系列、訓練技巧、業務客製化、工程部署 C

MORAN：用於場景文字辨識的多物件矩形注意力網路

逐步實現 llama3 推論、掌握核心概念、掌握過程推導、實作程式碼。

[IGARSS'22]：基於 Transformer 的變遷檢測連體網路

FlashAttention (Metal 連接埠版本)

[CVPR 2021, Oral] PREDATOR：低重疊度 3D 點雲配準。

使用模組化建構區塊建立高效能 AI 模型。

[ICLR2025 Spotlight🔥] TokenFormer 官方實作：透過代幣化模型參數重新思考 Transformer 規模化

RT-2 的民主化，「RT-2：將視覺與語言轉化為行動的新模型」。