attention-mechanisms

Implementierung von RLHF (Reinforcement Learning with Human Feedback) auf Basis der PaLM-Architektur. Im Grunde wie ChatGPT, nur mit PaLM

Eine äußerst umfassende Liste von Arbeiten zu Vision Transformer/Attention, einschließlich Papern, Codes und zugehörigen Websites

Implementierung von AudioLM, einem SOTA-Sprachmodellierungsansatz zur Audiogenerierung von Google Research, in PyTorch

Implementierung von Toolformer (Language Models That Can Use Tools) von MetaAI

Implementierung von Make-A-Video, dem neuen SOTA-Text-zu-Video-Generator von Meta AI, in PyTorch

Implementierung von Alphafold 3 von Google Deepmind in PyTorch

Implementierung von Band Split Roformer, einem SOTA-Attention-Netzwerk zur Musikquellentrennung aus den ByteDance AI Labs

Implementierung von Muse: Text-zu-Bild-Generierung via Masked Generative Transformers in PyTorch

Implementierung von MeshGPT, SOTA-Mesh-Generierung mittels Attention, in PyTorch

Implementierung von Phenaki Video in Pytorch, das Mask GIT verwendet, um textgesteuerte Videos mit einer Länge von bis zu 2 Minuten zu erzeugen

Implementierung von Plug-and-Play-Attention aus „LongNet: Scaling Transformers to 1,000,000,000 Tokens“

PyTorch Dual-Attention LSTM-Autoencoder für multivariate Zeitreihen

Implementierung des MagViT2 Tokenizers in PyTorch

Implementierung von MEGABYTE (Predicting Million-byte Sequences with Multiscale Transformers) in PyTorch

Implementierung einer einzelnen Schicht des in Stable Diffusion 3 vorgeschlagenen MMDiT in Pytorch

PyTorch-Implementierung gängiger Attention-Mechanismen, Vision Transformers, MLP-ähnlicher Modelle und CNNs.

Inoffizielle Implementierung von iTransformer – SOTA Zeitreihenprognose mittels Attention-Netzwerken, von der Tsinghua University und der Ant Group.

Eine Implementierung von lokaler Windowed Attention für Sprachmodellierung.