lucidrains

PytorchにおけるVision Transformerの実装。単一のトランスフォーマーエンコーダのみでビジョン分類のSOTAを達成するシンプルな方法

OpenAIの更新されたテキストから画像合成ニューラルネットワークであるDALL-E 2のPytorchでの実装。

PytorchにおけるDenoising Diffusion Probabilistic Modelの実装

GoogleのText-to-ImageニューラルネットワークであるImagenのPytorch実装

PaLMアーキテクチャ上に実装されたRLHF (Reinforcement Learning with Human Feedback)。基本的にChatGPTだがPaLMを使用している。

さまざまな論文から得られた有望な実験的機能を備えた、簡潔ながら完全なフルアテンショントランスフォーマー

OpenAIのText to Image TransformerであるDALL-Eの実装/複製をPytorchで行う

Pytorchにおけるベクトル（およびスカラー）量子化

PytorchにおけるStylegan2（最先端の敵対的生成ネットワーク）の最もシンプルな動作実装。誰もがディスエンタングルメントを体験できるようにする。

Google Researchによる音声生成のためのSOTA言語モデリングアプローチ「AudioLM」のPyTorch実装

🦁 Lion：Google Brainが遺伝的アルゴリズムを使用して発見した新しいオプティマイザ。Adam(w)よりも優れているとされ、PyTorchで実装されています。

MetaAIによる、ツールを使用できる言語モデル「Toolformer」の実装

Meta AIによる新しいSOTAテキスト・動画生成モデル「Make-A-Video」のPyTorch実装

PyTorch による、Transformers 向け SOTA メモリ「Titans」の非公式実装。

Adobeによる新しいSOTA GANであるGigaGANの実装。GANに関する約10年の研究の集大成

DeepMindによる自己教師あり学習「Bootstrap Your Own Latent」のPyTorchによる実用的な実装

Google DeepmindのAlphafold 3のPyTorchによる実装

ICLR 2021で提案された「lightweight」GANのPyTorchによる実装。1〜2日以内にトレーニング可能な高解像度画像生成

Google DeepMind による効率的な並列音声生成モデル SoundStorm の PyTorch による実装

MetaAI による Self-Rewarding Language Model で提案されたトレーニングフレームワークの実装

MetaAIによる論文「Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model」のPytorch実装

Video Diffusion Modelsの実装。Jonathan HoによるDDPMを動画生成に拡張した新しい論文のPyTorch版実装

PyTorch による Perceiver（反復アテンションを用いた汎用知覚モデル）の実装

表形式データ向けアテンションネットワーク「TabTransformer」のPyTorchによる実装

Google AIによる、Vision向けのAll-MLPソリューション

ByteDance AI Labsによる、音楽音源分離のためのSOTAアテンションネットワーク「Band Split Roformer」の実装

Masked Generative TransformersによるText-to-Image生成モデル「Muse」のPyTorch実装

PyTorchを用いた、Attentionを使用するSOTAメッシュ生成モデルMeshGPTの実装。

シーケンス長に対して線形計算量を持つアテンションのバリアントに基づいた Transformer

Roformer 論文に基づくロータリー埋め込み（Rotary Embeddings）の PyTorch 実装。

Deepseek チームの論文「Native Sparse Attention」で提案されたスパースアテンションパターンの実装

Mask GIT を使用して最長 2 分間のテキスト誘導型動画を生成する Phenaki Video の PyTorch による実装

PyTorch による、MetaAI の新しい SOTA Text-to-speech ネットワーク Voicebox の実装

PyTorchによるMagViT2トークナイザーの実装

PyTorchモデルの指数移動平均（EMA）バージョンを簡単に追跡する方法

PyTorchによる「MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers」の実装

Physical Intelligence が提案するロボット基盤モデルアーキテクチャ「π₀」の実装。

遺伝子発現予測のための DeepMind のアテンションネットワーク「Enformer」の PyTorch 実装

Stable Diffusion 3で提案されたMMDiTの単層のPyTorchによる実装

Berkeley AI の Liu らによる 💍 Ring Attention の PyTorch 実装

PyTorchにおけるClassifier Free Guidanceの実装。テキスト条件付けに重点を置き、複数のテキスト埋め込みモデルを柔軟に含めることができます。

iTransformer の非公式実装 - アテンションネットワークを用いた SOTA 時系列予測、清華大学および Ant Group による研究

PyTorch による E(n) 同変グラフニューラルネットワークの実装

E2-TTS（「Embarrassingly Easy Fully Non-Autoregressive Zero-Shot TTS」）の PyTorch による実装

言語モデリングのためのローカル窓付きアテンションの実装

Implementation of Slot Attention from GoogleAI