attention-mechanisms

Implementação de RLHF (Aprendizado por Reforço com Feedback Humano) sobre a arquitetura PaLM. Basicamente o ChatGPT, mas com PaLM.

Uma lista de artigos extremamente abrangente sobre Vision Transformer/Attention, incluindo artigos, códigos e sites relacionados

Implementação em Pytorch do AudioLM, uma abordagem de modelagem de linguagem de última geração para geração de áudio do Google Research.

Implementação do Toolformer, modelos de linguagem que podem usar ferramentas, pela MetaAI

Implementação em Pytorch do Make-A-Video, o novo gerador de texto para vídeo SOTA da Meta AI

Implementação do Alphafold 3 do Google Deepmind em PyTorch.

Implementação do Band Split Roformer, rede de atenção SOTA para separação de fontes musicais do ByteDance AI Labs

Implementação do Muse: Geração de Texto para Imagem via Transformers Generativos Mascarados, em Pytorch

Implementação do MeshGPT, geração de malhas SOTA usando Attention, em PyTorch

Implementação do Phenaki Video em PyTorch, que usa MaskGIT para gerar vídeos guiados por texto de até 2 minutos de duração.

Implementação de Attention plug-and-play de "LongNet: Scaling Transformers to 1,000,000,000 Tokens"

Autoencoder LSTM com atenção dupla em PyTorch para séries temporais multivariadas.

Implementação do tokenizador MagViT2 em PyTorch

Implementação do MEGABYTE, Prevendo Sequências de Milhões de Bytes com Transformers Multi-escala, em Pytorch

Implementação em PyTorch de uma única camada do MMDiT, proposto no Stable Diffusion 3

🦖 Implementação em PyTorch de mecanismos de atenção populares, Vision Transformers, modelos do tipo MLP e CNNs.

Implementação não oficial do iTransformer - SOTA em previsão de séries temporais usando redes de atenção, desenvolvido pela Tsinghua e Ant Group.

Uma implementação de atenção em janela local para modelagem de linguagem