attention-mechanisms

Implémentation de RLHF (Apprentissage par renforcement à partir de rétroaction humaine) basée sur l'architecture PaLM. En somme, un équivalent de ChatGPT utilisant PaLM.

Une liste exhaustive d'articles sur les Vision Transformers et l'attention, incluant articles, codes et sites web associés.

Implémentation en PyTorch d'AudioLM, une approche de modélisation linguistique de pointe pour la génération audio issue de Google Research

Implémentation de Toolformer, les modèles de langage capables d'utiliser des outils, par MetaAI.

Implémentation en PyTorch de Make-A-Video, le nouveau générateur texte-vidéo SOTA de Meta AI

Implémentation d'Alphafold 3 de Google Deepmind en Pytorch.

Implémentation de Band Split Roformer, le réseau d'attention SOTA pour la séparation de sources musicales par ByteDance AI Labs.

Implémentation de Muse : génération texte-vers-image via des transformeurs génératifs masqués, en Pytorch.

Implémentation de MeshGPT, état de l'art en génération de maillage par mécanisme d'attention, en PyTorch.

Implémentation en Pytorch de Phenaki Video, utilisant Mask GIT pour générer des vidéos guidées par texte d'une durée maximale de 2 minutes.

Implémentation de l'attention « plug and play » tirée de "LongNet: Scaling Transformers to 1,000,000,000 Tokens"

Auto-encodeur LSTM à double attention PyTorch pour les séries temporelles multivariées

Implémentation du Tokenizer MagViT2 en PyTorch

Implémentation de MEGABYTE, Prédire des séquences de millions d'octets avec des Transformeurs multiscales, en PyTorch

Implémentation en Pytorch d'une couche unique du MMDiT, proposée dans Stable Diffusion 3.

🦖 Implémentation PyTorch de mécanismes d'attention populaires, Vision Transformers, modèles de type MLP et CNN.

Implémentation non officielle d'iTransformer - SOTA pour la prévision de séries temporelles utilisant des réseaux d'attention, par l'Université Tsinghua et Ant Group.

Une implémentation de l'attention locale par fenêtre pour la modélisation du langage