attention

🧑‍🏫 60以上のディープラーニング論文の実装/チュートリアルと、並行ノート 📝。トランスフォーマー（original, xl, switch, feedback, vit, ...）、オプティマイザ（adam, adabelief, sophia, ...）、GANs（cyclegan, stylegan2, ...）、🎮強化学習（ppo, dqn）、capsnet、蒸留（distillation, ...）など🧠

SGLangは、大規模言語モデルおよびマルチモーダルモデル向けの高性能サービングフレームワークです。

ディープラーニング研究者のための自然言語処理チュートリアル

利用可能な研究文献に基づき、第一原理から構築したClaude Mythosアーキテクチャの理論的な再構築。

🍀 様々なAttention Mechanisms、MLP、Re-parameter、ConvolutionのPytorch実装。論文をさらに理解するのに役立ちます。⭐⭐⭐

「Attention is All You Need」におけるTransformerモデルのPyTorch実装。

FlashInfer: LLMサービングのためのカーネルライブラリ

PyTorchとTorchTextを使用したいくつかのシーケンス・トゥ・シーケンス (seq2seq) モデルの実装チュートリアル。

Transformer: 「Attention Is All You Need」のPyTorch実装。

Scenic: コンピュータビジョン研究のためのJaxライブラリおよびそれ以降の用途

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] 量子化アテンションにより、言語、画像、動画モデルのエンドツーエンドの指標を落とすことなく、FlashAttentionと比較して2〜5倍の高速化を実現

PASCAL VOC および COCO を使用した YOLOv4、attentive YOLOv4、mobilenet YOLOv4 の PyTorch リポジトリ

マルチエージェントに関する優れた論文のまとめ

MetaAIによる論文「Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model」のPytorch実装

アテンション、画像分類、物体検出、キーポイント検出などを含む、シンプルなCVプロジェクトの再現。

C++とCUDAで高性能なLLM推論エンジンを構築する - vLLMの軽量版

[ICML2025] SpargeAttention: あらゆるモデルの推論を加速する、トレーニング不要のスパースアテンション

cuDNN Frontendは、NVIDIAによるcuDNNライブラリへのモダンでオープンソースなエントリーポイントであり、高性能なオープンソースカーネルのコレクションを拡大しています。

組み合わせ最適化（CO）のための強化学習（RL）全般を扱うPyTorchライブラリ

Deepseek チームの論文「Native Sparse Attention」で提案されたスパースアテンションパターンの実装

マルチラベルテキスト分類、マルチラベル分類、テキスト分類、マルチラベル、分類器、テキスト分類、BERT、seq2seq、アテンション、マルチラベル分類

[TNSRE 23] EEG Transformer 2.0。i. EEG デコード用畳み込み Transformer。ii. 新しい可視化手法 - クラス活性化トポグラフィ。

「LongNet: Scaling Transformers to 1,000,000,000 Tokens」のプラグアンドプレイなAttentionの実装

llama3の推論をステップバイステップで実現し、コア概念を理解し、プロセスの導出をマスターし、コードを実装する。

Keras beit,caformer,CMT,CoAtNet,convnext,davit,dino,efficientdet,edgenext,efficientformer,efficientnet,eva,fasternet,fastervit,fastvit,flexivit,gcvit,ghostnet,gpvit,hornet,hiera,iformer,inceptionnext,lcnet,levit,maxvit,mobilevit,moganet,nat,nfnets,pvt,swin,tinynet,tinyvit,uniformer,volo,vanillanet,yolor,yolov7,yolov8,yolox,gpt2,llama2 (エイリアス kecam)

TransformerモデルのJulia実装

論文「SAITS: Self-Attention-based Imputation for Time Series」の公式PyTorch実装。時系列データの効率的な欠損値補完のための、高速で最先端（SOTA）のディープラーニングニューラルネットワークモデル（機械学習を使用してNaNの欠損データや値を含む多変量の不完全な時系列データを補完）。https://arxiv.org/abs/2202.08516

Design hardware-friendly model architectures and migrate existing LLMs with minimal performance loss