lucidrains

Implementación de Vision Transformer, una forma sencilla de lograr SOTA en clasificación de imágenes con un solo codificador transformer, en PyTorch.

Implementación de DALL-E 2, la red neuronal de síntesis de texto a imagen actualizada de OpenAI, en Pytorch

Implementación del modelo probabilístico de difusión por eliminación de ruido en PyTorch

Implementación de Imagen, la red neuronal de texto a imagen de Google, en PyTorch

Implementación de RLHF (aprendizaje por refuerzo con retroalimentación humana) sobre la arquitectura PaLM. Básicamente ChatGPT pero con PaLM

Un transformer de atención completa conciso pero completo con un conjunto de característicasexperimentales prometedoras de varios artículos

Implementación / replicación de DALL-E, el Transformer de texto a imagen de OpenAI, en PyTorch

Cuantización vectorial (y escalar) en Pytorch

La implementación funcional más simple de Stylegan2, una red generativa antagónica de última generación, en PyTorch. Permitiendo que todos experimenten la disentrelazación

Implementación en PyTorch de AudioLM, un enfoque de modelado de lenguaje de última generación (SOTA) para la generación de audio de Google Research

🦁 Lion, un nuevo optimizador descubierto por Google Brain mediante algoritmos genéticos que supuestamente es mejor que Adam(w), en Pytorch

Implementación de Toolformer, Modelos de Lenguaje Que Pueden Usar Herramientas, por MetaAI

Implementación en Pytorch de Make-A-Video, el nuevo generador de texto a video de última generación de Meta AI.

Implementación no oficial de Titans, memoria SOTA para transformers, en PyTorch

Implementación de GigaGAN, el nuevo SOTA GAN de Adobe. La culminación de casi una década de investigación en GANs

Implementación utilizable en PyTorch de "Bootstrap Your Own Latent", aprendizaje autosupervisado de DeepMind

Implementación de Alphafold 3 de Google Deepmind en Pytorch.

Implementación en Pytorch de la 'lightweight' GAN propuesta en ICLR 2021. Generación de imágenes de alta resolución que pueden entrenarse en uno o dos días.

Implementación en PyTorch de SoundStorm, la generación de audio en paralelo eficiente de Google DeepMind.

Implementación del framework de entrenamiento propuesto en Self-Rewarding Language Model, de MetaAI

Implementación en Pytorch de Transfusion, "Predecir el siguiente token y difundir imágenes con un modelo multimodal", de MetaAI

Implementación en Pytorch de Modelos de Difusión de Video, el nuevo artículo de Jonathan Ho que extiende los DDPMs a la generación de video

Implementación de Perceiver, General Perception with Iterative Attention, en Pytorch

Implementación de TabTransformer, una red de atención para datos tabulares, en Pytorch

Una solución basada totalmente en MLP para visión artificial, de Google AI

Implementación de Band Split Roformer, una red de atención SOTA para la separación de fuentes de música de ByteDance AI Labs.

Implementación de Muse: generación de texto a imagen mediante Masked Generative Transformers, en PyTorch

Implementación de MeshGPT, generación de mallas SOTA usando Attention, en Pytorch.

Transformer basado en una variante de atención con complejidad lineal respecto a la longitud de la secuencia.

Implementación de Rotary Embeddings, del artículo Roformer, en Pytorch.

Implementación del patrón de atención dispersa (sparse attention) propuesto por el equipo de Deepseek en su artículo "Native Sparse Attention".

Implementación en PyTorch de Phenaki Video, que utiliza Mask GIT para producir videos guiados por texto de hasta 2 minutos de duración.

Implementación en PyTorch de Voicebox, la nueva red SOTA de texto a voz de MetaAI.

Implementación del tokenizador MagViT2 en Pytorch

Una forma sencilla de realizar un seguimiento de la versión de media móvil exponencial (EMA) de su modelo de Pytorch

Implementación de MEGABYTE, predicción de secuencias de un millón de bytes con Transformers multiescala, en PyTorch

Implementación de π₀, la arquitectura de modelo fundamental robótico propuesta por Physical Intelligence

Implementación en Pytorch de Enformer, la red de atención de Deepmind para predecir la expresión génica

Implementación en Pytorch de una capa única de MMDiT, propuesta en Stable Diffusion 3.

Implementación de Ring Attention, de Liu et al. en Berkeley AI, en Pytorch

Implementación de Classifier Free Guidance en Pytorch, con énfasis en el condicionamiento de texto y flexibilidad para incluir múltiples modelos de incrustación de texto.

Implementación no oficial de iTransformer: pronóstico de series temporales SOTA utilizando redes de atención, de Tsinghua / Ant group.

Implementación de E(n)-Equivariant Graph Neural Networks en Pytorch.

Implementación de E2-TTS, "Embarrassingly Easy Fully Non-Autoregressive Zero-Shot TTS", en Pytorch

Una implementación de atención local con ventanas para modelado de lenguaje.

Implementation of Slot Attention from GoogleAI