attention-mechanisms

PaLM 아키텍처 기반의 RLHF(인간 피드백 기반 강화학습) 구현. 기본적으로 PaLM을 사용한 ChatGPT와 유사함

논문, 코드 및 관련 웹사이트를 포함하는 Vision Transformer/Attention에 대한 궁극적으로 포괄적인 논문 목록

Google Research의 최첨단 오디오 생성 언어 모델링 방식인 AudioLM의 PyTorch 구현체

MetaAI의 논문 '도구를 사용할 수 있는 언어 모델(Toolformer, Language Models That Can Use Tools)' 구현체

PyTorch로 구현한 Meta AI의 새로운 SOTA 텍스트-비디오 생성기 Make-A-Video

PyTorch로 구현한 Google Deepmind의 Alphafold 3

ByteDance AI Labs의 음악 소스 분리를 위한 SOTA Attention 네트워크, Band Split Roformer 구현

Pytorch로 구현한 Masked Generative Transformers 기반 텍스트-이미지 생성 모델 Muse 구현체

Attention을 활용한 SOTA 메쉬 생성 모델 MeshGPT의 Pytorch 구현

Mask GIT을 사용하여 최대 2분 길이의 텍스트 기반 영상을 생성하는 Phenaki Video의 PyTorch 구현

LongNet: Scaling Transformers to 1,000,000,000 Tokens 논문의 플러그 앤 플레이 Attention 구현

다변량 시계열을 위한 PyTorch Dual-Attention LSTM-Autoencoder

Pytorch로 구현한 MagViT2 토크나이저

Pytorch로 구현한 MEGABYTE(멀티스케일 트랜스포머를 사용한 백만 바이트 시퀀스 예측)입니다.

Stable Diffusion 3에서 제안된 MMDiT 단일 레이어의 Pytorch 구현

인기 있는 Attention Mechanism, Vision Transformer, MLP 기반 모델 및 CNN의 Pytorch 구현체입니다.

iTransformer 비공식 구현 - 칭화대 / 앤트그룹의 Attention 네트워크를 활용한 SOTA 시계열 예측

언어 모델링을 위한 로컬 윈도우 어텐션 구현