lucidrains

단일 transformer 인코더만으로 비전 분류에서 SOTA를 달성하는 간단한 방법인 Vision Transformer의 PyTorch 구현

PyTorch로 구현한 OpenAI의 텍스트-이미지 합성 신경망 DALL-E 2

Pytorch로 구현한 Denoising Diffusion Probabilistic Model

Pytorch로 구현한 Google의 Text-to-Image 신경망, Imagen 구현체

PaLM 아키텍처 기반의 RLHF(인간 피드백 기반 강화학습) 구현. 기본적으로 PaLM을 사용한 ChatGPT와 유사함

다양한 논문의 유망한 실험적 기능 모음이 포함된 간결하지만 완벽한 전면 어텐션 트랜스포머

PyTorch로 구현/재현한 OpenAI의 텍스트-이미지 변환기 DALL-E

Pytorch로 구현한 벡터(및 스칼라) 양자화

PyTorch로 구현된 가장 단순하고 최신의 GAN(generative adversarial network)인 Stylegan2 구현체입니다. 누구나 얽힘 해제(disentanglement)를 경험할 수 있도록 합니다.

Google Research의 최첨단 오디오 생성 언어 모델링 방식인 AudioLM의 PyTorch 구현체

🦁 Lion: Google Brain이 유전 알고리즘을 사용하여 발견한 새로운 옵티마이저로, PyTorch에서 Adam(w)보다 우수한 성능을 낸다고 알려져 있습니다.

MetaAI의 논문 '도구를 사용할 수 있는 언어 모델(Toolformer, Language Models That Can Use Tools)' 구현체

PyTorch로 구현한 Meta AI의 새로운 SOTA 텍스트-비디오 생성기 Make-A-Video

PyTorch로 구현한 Titans 비공식 구현체, 트랜스포머를 위한 SOTA 메모리

Adobe의 새로운 SOTA GAN인 GigaGAN 구현. 약 10년간의 GAN 연구의 결정체

DeepMind의 "Bootstrap Your Own Latent" 자기 지도 학습을 PyTorch로 사용 가능하게 구현한 버전

PyTorch로 구현한 Google Deepmind의 Alphafold 3

ICLR 2021에서 제안된 'lightweight' GAN의 PyTorch 구현입니다. 하루 이내에 학습할 수 있는 고해상도 이미지 생성

PyTorch로 구현한 Google Deepmind의 SoundStorm(효율적인 병렬 오디오 생성) 구현체

MetaAI의 Self-Rewarding Language Model에서 제안된 학습 프레임워크 구현

MetaAI의 논문 "Predict the Next Token and Diffuse Images with One Multi-Modal Model"에 등장하는 Transfusion의 PyTorch 구현체입니다.

비디오 확산 모델 구현, DDPM을 비디오 생성으로 확장한 Jonathan Ho의 신규 논문 - PyTorch 버전

반복적 어텐션을 통한 일반 인식 모델인 Perceiver의 Pytorch 구현체입니다.

Pytorch로 구현한 정형 데이터용 어텐션 네트워크 TabTransformer

Google AI에서 제공하는 비전용 All-MLP 솔루션

ByteDance AI Labs의 음악 소스 분리를 위한 SOTA Attention 네트워크, Band Split Roformer 구현

Pytorch로 구현한 Masked Generative Transformers 기반 텍스트-이미지 생성 모델 Muse 구현체

Attention을 활용한 SOTA 메쉬 생성 모델 MeshGPT의 Pytorch 구현

시퀀스 길이에 대해 선형 복잡도를 갖는 어텐션 변형 기반 Transformer

Roformer 논문의 Rotary Embeddings를 Pytorch로 구현한 것입니다.

Deepseek 팀이 "Native Sparse Attention" 논문에서 제안한 희소 어텐션(sparse attention) 패턴의 구현체

Mask GIT을 사용하여 최대 2분 길이의 텍스트 기반 영상을 생성하는 Phenaki Video의 PyTorch 구현

MetaAI의 최신 SOTA 텍스트 음성 변환 네트워크인 Voicebox의 Pytorch 구현

Pytorch로 구현한 MagViT2 토크나이저

Pytorch 모델의 지수 이동 평균(EMA) 버전을 간편하게 추적하는 방법

Pytorch로 구현한 MEGABYTE(멀티스케일 트랜스포머를 사용한 백만 바이트 시퀀스 예측)입니다.

Physical Intelligence에서 제안한 로봇 파운데이션 모델 아키텍처 π₀ 구현.

유전자 발현 예측을 위한 Deepmind의 어텐션 네트워크 Enformer의 Pytorch 구현

Stable Diffusion 3에서 제안된 MMDiT 단일 레이어의 Pytorch 구현

Berkeley AI의 Liu 등이 제안한 💍 Ring Attention의 Pytorch 구현

텍스트 조건화와 다중 텍스트 임베딩 모델을 유연하게 지원하는 Pytorch 기반 Classifier Free Guidance 구현

iTransformer 비공식 구현 - 칭화대 / 앤트그룹의 Attention 네트워크를 활용한 SOTA 시계열 예측

Pytorch로 구현한 E(n)-등변 그래프 신경망(E(n)-Equivariant GNN)

Pytorch로 구현한 E2-TTS (Embarrassingly Easy Fully Non-Autoregressive Zero-Shot TTS).

언어 모델링을 위한 로컬 윈도우 어텐션 구현

Implementation of Slot Attention from GoogleAI