lucidrains

Implémentation de Vision Transformer en PyTorch, une méthode simple pour atteindre l'état de l'art en classification d'images avec un seul encodeur transformer.

Implémentation en PyTorch de DALL-E 2, le réseau de neurones de synthèse texte-image d'OpenAI.

Implémentation d'un modèle de diffusion probabiliste de débruitage (DDPM) en Pytorch.

Implémentation en Pytorch d'Imagen, le réseau de neurones de conversion texte-image de Google

Implémentation de RLHF (Apprentissage par renforcement à partir de rétroaction humaine) basée sur l'architecture PaLM. En somme, un équivalent de ChatGPT utilisant PaLM.

Un transformer full-attention concis mais complet, intégrant des fonctionnalités expérimentales prometteuses issues de divers articles de recherche.

Implémentation / réplication de DALL-E, le transformeur texte-vers-image d'OpenAI, en PyTorch.

Quantification vectorielle (et scalaire) en PyTorch.

Implémentation simple et fonctionnelle de Stylegan2, un réseau antagoniste génératif de pointe, en Pytorch. Permet à chacun d'expérimenter le désenchevêtrement.

Implémentation en PyTorch d'AudioLM, une approche de modélisation linguistique de pointe pour la génération audio issue de Google Research

🦁 Lion, un nouvel optimiseur découvert par Google Brain via des algorithmes génétiques, prétendument supérieur à Adam(w), implémenté en Pytorch.

Implémentation de Toolformer, les modèles de langage capables d'utiliser des outils, par MetaAI.

Implémentation en PyTorch de Make-A-Video, le nouveau générateur texte-vidéo SOTA de Meta AI

Implémentation non officielle de Titans, mémoire SOTA pour les transformers, en Pytorch

Implémentation de GigaGAN, le nouvel état de l'art des GAN par Adobe. L'aboutissement de près d'une décennie de recherche sur les GAN.

Implémentation utilisable de l'apprentissage auto-supervisé "Bootstrap Your Own Latent" de Deepmind en Pytorch

Implémentation d'Alphafold 3 de Google Deepmind en Pytorch.

Implémentation en PyTorch du GAN 'lightweight' proposé à l'ICLR 2021. Génération d'images haute résolution entraînables en un ou deux jours.

Implémentation en Pytorch de SoundStorm, le modèle de génération audio parallèle efficace de Google Deepmind.

Implémentation du framework d'entraînement proposé dans Self-Rewarding Language Model, par MetaAI

Implémentation PyTorch de Transfusion, un modèle multimodal capable de prédire le prochain jeton et de diffuser des images, par MetaAI.

Implémentation en PyTorch des modèles de diffusion vidéo, basés sur l'article de Jonathan Ho étendant les DDPM à la génération vidéo.

Implémentation de Perceiver, perception générale avec attention itérative, en Pytorch

Implémentation de TabTransformer, un réseau d'attention pour les données tabulaires, en Pytorch

Solution entièrement basée sur des MLP pour la vision, développée par Google AI.

Implémentation de Band Split Roformer, le réseau d'attention SOTA pour la séparation de sources musicales par ByteDance AI Labs.

Implémentation de Muse : génération texte-vers-image via des transformeurs génératifs masqués, en Pytorch.

Implémentation de MeshGPT, état de l'art en génération de maillage par mécanisme d'attention, en PyTorch.

Transformer basé sur une variante d'attention à complexité linéaire par rapport à la longueur de la séquence

Implémentation des Rotary Embeddings, issus de l'article Roformer, en Pytorch.

Implémentation du modèle d'attention creuse proposé par l'équipe Deepseek dans leur article "Native Sparse Attention".

Implémentation en Pytorch de Phenaki Video, utilisant Mask GIT pour générer des vidéos guidées par texte d'une durée maximale de 2 minutes.

Implémentation en PyTorch de Voicebox, le nouveau réseau de synthèse vocale (Text-to-speech) SOTA de MetaAI

Implémentation du Tokenizer MagViT2 en PyTorch

Une methode simple pour suivre une version d'EMA (Exponential Moving Average) de votre modele PyTorch

Implémentation de MEGABYTE, Prédire des séquences de millions d'octets avec des Transformeurs multiscales, en PyTorch

Implémentation de π₀, l'architecture de modèle de fondation robotique proposée par Physical Intelligence

Implémentation en PyTorch d'Enformer, le réseau d'attention de DeepMind pour la prédiction de l'expression génique

Implémentation en Pytorch d'une couche unique du MMDiT, proposée dans Stable Diffusion 3.

Implémentation de 💍 Ring Attention, par Liu et al. du Berkeley AI, en Pytorch.

Implémentation du Classifier Free Guidance en Pytorch, axée sur le conditionnement textuel et la flexibilité pour intégrer plusieurs modèles d'embedding de texte.

Implémentation non officielle d'iTransformer - SOTA pour la prévision de séries temporelles utilisant des réseaux d'attention, par l'Université Tsinghua et Ant Group.

Implémentation de E(n)-Equivariant Graph Neural Networks en PyTorch

Implémentation en Pytorch de E2-TTS, "Embarrassingly Easy Fully Non-Autoregressive Zero-Shot TTS".

Une implémentation de l'attention locale par fenêtre pour la modélisation du langage

Implementation of Slot Attention from GoogleAI