lucidrains

Implementierung des Vision Transformer, ein einfacher Weg, um in der Vision-Klassifikation SOTA zu erreichen, mit nur einem Transformer-Encoder in PyTorch

Implementierung von DALL-E 2, OpenAIs aktualisiertem neuronalen Netz zur Text-zu-Bild-Synthese, in PyTorch

Implementierung des Denoising Diffusion Probabilistic Model in PyTorch

Implementierung von Imagen, Googles Text-to-Image-neuronalem Netz, in PyTorch

Implementierung von RLHF (Reinforcement Learning with Human Feedback) auf Basis der PaLM-Architektur. Im Grunde wie ChatGPT, nur mit PaLM

Ein prägnanter, aber vollständiger Full-Attention-Transformer mit einer Reihe vielversprechender experimenteller Funktionen aus verschiedenen Papers

Implementierung / Replikation von DALL-E, OpenAIs Text-to-Image-Transformer, in Pytorch

Vektor- (und Skalar-) Quantisierung in PyTorch

Einfachste funktionierende Implementierung von StyleGAN2, einem modernen generativen adversarialen Netzwerk (GAN), in PyTorch. Ermöglicht jedem, Entflechtung zu erleben.

Implementierung von AudioLM, einem SOTA-Sprachmodellierungsansatz zur Audiogenerierung von Google Research, in PyTorch

🦁 Lion, ein von Google Brain mittels genetischer Algorithmen entdeckter neuer Optimierer, der angeblich besser als Adam(w) ist, in Pytorch

Implementierung von Toolformer (Language Models That Can Use Tools) von MetaAI

Implementierung von Make-A-Video, dem neuen SOTA-Text-zu-Video-Generator von Meta AI, in PyTorch

Inoffizielle Implementierung von Titans, SOTA Memory für Transformer, in PyTorch

Implementierung von GigaGAN, einem neuen SOTA-GAN von Adobe. Der Höhepunkt von fast einem Jahrzehnt der GAN-Forschung

Eine nutzbare PyTorch-Implementierung von „Bootstrap Your Own Latent“ (Self-Supervised Learning) von Deepmind

Implementierung von Alphafold 3 von Google Deepmind in PyTorch

Implementierung des auf der ICLR 2021 vorgeschlagenen ,lightweight' GAN in PyTorch. Generierung hochauflösender Bilder, die innerhalb von ein bis zwei Tagen trainiert werden können

Implementierung von SoundStorm, effiziente parallele Audiogenerierung von Google DeepMind, in PyTorch

Implementierung des Trainingsframeworks aus Self-Rewarding Language Model von MetaAI

PyTorch-Implementierung von Transfusion („Predict the Next Token and Diffuse Images with One Multi-Modal Model“) von MetaAI

Implementierung von Video Diffusion Models, Jonathan Hos neuer Paper zur Erweiterung von DDPMs auf die Videogenerierung – in Pytorch

Implementierung von Perceiver, General Perception with Iterative Attention, in PyTorch

Implementierung von TabTransformer, einem Attention-Netzwerk für tabellarische Daten, in PyTorch

Eine reine MLP-Lösung für Computer Vision von Google AI

Implementierung von Band Split Roformer, einem SOTA-Attention-Netzwerk zur Musikquellentrennung aus den ByteDance AI Labs

Implementierung von Muse: Text-zu-Bild-Generierung via Masked Generative Transformers in PyTorch

Implementierung von MeshGPT, SOTA-Mesh-Generierung mittels Attention, in PyTorch

Transformer basierend auf einer Aufmerksamkeitsvariante mit linearer Komplexität in Bezug auf die Sequenzlänge

Implementierung von Rotary Embeddings aus dem Roformer-Paper in PyTorch

Implementierung des Sparse-Attention-Musters, das vom Deepseek-Team in ihrem Paper „Native Sparse Attention“ vorgestellt wurde

Implementierung von Phenaki Video in Pytorch, das Mask GIT verwendet, um textgesteuerte Videos mit einer Länge von bis zu 2 Minuten zu erzeugen

Implementierung von Voicebox, einem neuen SOTA Text-to-Speech-Netzwerk von MetaAI, in PyTorch.

Implementierung des MagViT2 Tokenizers in PyTorch

Eine einfache Möglichkeit, eine EMA-Version (Exponential Moving Average) Ihres PyTorch-Modells zu verfolgen

Implementierung von MEGABYTE (Predicting Million-byte Sequences with Multiscale Transformers) in PyTorch

Implementierung von π₀, der von Physical Intelligence vorgeschlagenen Roboter-Fundamentmodell-Architektur

Implementierung von Enformer, Deepminds Attention-Netzwerk zur Vorhersage der Genexpression, in Pytorch

Implementierung einer einzelnen Schicht des in Stable Diffusion 3 vorgeschlagenen MMDiT in Pytorch

Implementierung von Ring Attention von Liu et al. (Berkeley AI) in PyTorch.

Implementierung von Classifier Free Guidance in Pytorch, mit Schwerpunkt auf Text-Conditioning und Flexibilität zur Einbindung mehrerer Text-Embedding-Modelle.

Inoffizielle Implementierung von iTransformer – SOTA Zeitreihenprognose mittels Attention-Netzwerken, von der Tsinghua University und der Ant Group.

Implementierung von E(n)-äquivarianten Graph Neural Networks in PyTorch.

Implementierung von E2-TTS, "Embarrassingly Easy Fully Non-Autoregressive Zero-Shot TTS", in Pytorch.

Eine Implementierung von lokaler Windowed Attention für Sprachmodellierung.

Implementation of Slot Attention from GoogleAI