attention-mechanism

PyTorchでChatGPTライクなLLMをゼロから段階的に実装。

PytorchにおけるVision Transformerの実装。単一のトランスフォーマーエンコーダのみでビジョン分類のSOTAを達成するシンプルな方法

邱锡鹏『神经网络与深度学习』（蒲公英書）理論書 v2 および通識版

RWKV（読み方：RwaKuv）は、優れたLLM性能を持つRNNであり、GPTトランスフォーマーのように直接学習（並列化可能）することもできます。現在RWKV-7「Goose」を使用しています。これはRNNとトランスフォーマーの長所を組み合わせたもので、優れた性能、線形時間、定数空間（kv-cache不要）、高速学習、無限のctx_len、無料の文埋め込みを提供します。

さまざまな論文から得られた有望な実験的機能を備えた、簡潔ながら完全なフルアテンショントランスフォーマー

OpenAIのText to Image TransformerであるDALL-Eの実装/複製をPytorchで行う

Vision Transformer/Attentionに関する究極的に包括的な論文リスト。論文、コード、関連ウェブサイトを含む。

RuVectorは、Rustで構築された高性能、リアルタイム、自己学習型のAI、Vector GNN、Memory DBです。

スクラッチからモダンなLLMを構築。全行にコメント付き。初心者にもわかりやすく解説。

単語レベルのタイムスタンプと信頼度を備えた多言語自動音声認識

KerasのAttentionレイヤー（LuongおよびBahdanauスコア）

Google DeepMind による効率的な並列音声生成モデル SoundStorm の PyTorch による実装

LLMの内部構造をステップバイステップで学ぶ - トークン化からアテンション、推論最適化まで。

PyTorch による Perceiver（反復アテンションを用いた汎用知覚モデル）の実装

PyTorch をベースにした、ニューラル機械翻訳（NMT）に特化したシークエンス・ツー・シークエンス（Seq2Seq）フレームワーク

TensorFlowベースの、EEGタスク（信号）分類用ディープラーニングライブラリ

Transformer ネットワーク、アテンションメカニズム、GPT、BERT、ChatGPT、LLM、転移学習に焦点を当てた NLP リソースのキュレーションリスト。

OpenSTL: 時空間予測学習の包括的なベンチマーク

表形式データ向けアテンションネットワーク「TabTransformer」のPyTorchによる実装

シーケンス長に対して線形計算量を持つアテンションのバリアントに基づいた Transformer

[ECCV 2020] 実画像の復元と向上のための拡張特徴量学習。画像ノイズ除去、超解像、画像向上におけるSOTA（最高性能）結果。

yolo-high-level プロジェクト (検出・姿勢推定・分類・セグメンテーション) をベースにし、yolov5、yolov7、yolov8 のコア、改良研究、SwinTransformerV2、Attention シリーズを含みます。学習スキル、ビジネスカスタマイズ、エンジニアリングデプロイ C を提供します。

MORAN: シーンテキスト認識のための複数オブジェクト補正アテンションネットワーク

llama3の推論をステップバイステップで実現し、コア概念を理解し、プロセスの導出をマスターし、コードを実装する。

[IGARSS'22]: 変化検出のための Transformer ベースのシャムネットワーク

FlashAttention (Metal ポート)

[CVPR 2021, Oral] PREDATOR: 重なりが少ない3D点群のレジストレーション

モジュール式のビルディングブロックを使用して高性能なAIモデルを構築

[ICLR2025 Spotlight🔥] TokenFormer の公式実装：トークン化されたモデルパラメータによる Transformer スケーリングの再考

RT-2 の民主化：「RT-2: 視覚と言語をアクションに変換する新しいモデル」