attention-mechanisms

PaLMアーキテクチャ上に実装されたRLHF (Reinforcement Learning with Human Feedback)。基本的にChatGPTだがPaLMを使用している。

Vision Transformer/Attentionに関する究極的に包括的な論文リスト。論文、コード、関連ウェブサイトを含む。

Google Researchによる音声生成のためのSOTA言語モデリングアプローチ「AudioLM」のPyTorch実装

MetaAIによる、ツールを使用できる言語モデル「Toolformer」の実装

Meta AIによる新しいSOTAテキスト・動画生成モデル「Make-A-Video」のPyTorch実装

Google DeepmindのAlphafold 3のPyTorchによる実装

ByteDance AI Labsによる、音楽音源分離のためのSOTAアテンションネットワーク「Band Split Roformer」の実装

Masked Generative TransformersによるText-to-Image生成モデル「Muse」のPyTorch実装

PyTorchを用いた、Attentionを使用するSOTAメッシュ生成モデルMeshGPTの実装。

Mask GIT を使用して最長 2 分間のテキスト誘導型動画を生成する Phenaki Video の PyTorch による実装

「LongNet: Scaling Transformers to 1,000,000,000 Tokens」のプラグアンドプレイなAttentionの実装

多変量時系列向けPyTorch Dual-Attention LSTM-Autoencoder

PyTorchによるMagViT2トークナイザーの実装

PyTorchによる「MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers」の実装

Stable Diffusion 3で提案されたMMDiTの単層のPyTorchによる実装

🦖人気の Attention 機構、Vision Transformers、MLP-Like モデル、CNN の Pytorch 実装。🔥🔥🔥

iTransformer の非公式実装 - アテンションネットワークを用いた SOTA 時系列予測、清華大学および Ant Group による研究

言語モデリングのためのローカル窓付きアテンションの実装