attention-mechanisms

Implementación de RLHF (aprendizaje por refuerzo con retroalimentación humana) sobre la arquitectura PaLM. Básicamente ChatGPT pero con PaLM

Una lista de artículos sumamente completa sobre Vision Transformer/Attention, que incluye artículos, códigos y sitios web relacionados

Implementación en PyTorch de AudioLM, un enfoque de modelado de lenguaje de última generación (SOTA) para la generación de audio de Google Research

Implementación de Toolformer, Modelos de Lenguaje Que Pueden Usar Herramientas, por MetaAI

Implementación en Pytorch de Make-A-Video, el nuevo generador de texto a video de última generación de Meta AI.

Implementación de Alphafold 3 de Google Deepmind en Pytorch.

Implementación de Band Split Roformer, una red de atención SOTA para la separación de fuentes de música de ByteDance AI Labs.

Implementación de Muse: generación de texto a imagen mediante Masked Generative Transformers, en PyTorch

Implementación de MeshGPT, generación de mallas SOTA usando Attention, en Pytorch.

Implementación en PyTorch de Phenaki Video, que utiliza Mask GIT para producir videos guiados por texto de hasta 2 minutos de duración.

Implementación plug-and-play de Attention de "LongNet: Scaling Transformers to 1,000,000,000 Tokens"

Autoencoder LSTM de doble atención en PyTorch para series temporales multivariantes.

Implementación del tokenizador MagViT2 en Pytorch

Implementación de MEGABYTE, predicción de secuencias de un millón de bytes con Transformers multiescala, en PyTorch

Implementación en Pytorch de una capa única de MMDiT, propuesta en Stable Diffusion 3.

Implementación en Pytorch de mecanismos de atención populares, Vision Transformers, modelos tipo MLP y CNN.

Implementación no oficial de iTransformer: pronóstico de series temporales SOTA utilizando redes de atención, de Tsinghua / Ant group.

Una implementación de atención local con ventanas para modelado de lenguaje.