attention-mechanism

PyTorch를 사용하여 처음부터 단계별로 ChatGPT와 유사한 LLM 구현하기

단일 transformer 인코더만으로 비전 분류에서 SOTA를 달성하는 간단한 방법인 Vision Transformer의 PyTorch 구현

추시펑의 '신경망과 딥러닝'(민들레 책) 이론서 v2 및 교양판

RWKV(RwaKuv로 발음)는 GPT 트랜스포머처럼 직접 학습(병렬화 가능)할 수 있으면서도 뛰어난 LLM 성능을 발휘하는 RNN입니다. 현재 RWKV-7 'Goose' 단계에 있습니다. 뛰어난 성능, 선형 시간, 상수 공간(kv-cache 없음), 빠른 학습, 무한한 ctx_len, 무료 문장 임베딩 등 RNN과 트랜스포머의 장점을 결합했습니다.

다양한 논문의 유망한 실험적 기능 모음이 포함된 간결하지만 완벽한 전면 어텐션 트랜스포머

PyTorch로 구현/재현한 OpenAI의 텍스트-이미지 변환기 DALL-E

논문, 코드 및 관련 웹사이트를 포함하는 Vision Transformer/Attention에 대한 궁극적으로 포괄적인 논문 목록

RuVector는 Rust로 구축된 고성능 실시간 자기 학습 AI, 벡터 GNN, 메모리 DB입니다.

처음부터 현대적인 LLM 구축하기. 모든 줄에 주석 포함. 아주 쉽게 설명됨.

단어 수준 타임스탬프와 신뢰도를 제공하는 다국어 자동 음성 인식

Keras 어텐션 레이어 (Luong 및 Bahdanau 스코어).

PyTorch로 구현한 Google Deepmind의 SoundStorm(효율적인 병렬 오디오 생성) 구현체

단계별로 배우는 LLM 내부 구조 - 토큰화부터 어텐션, 추론 최적화까지.

반복적 어텐션을 통한 일반 인식 모델인 Perceiver의 Pytorch 구현체입니다.

PyTorch 기반의 신경망 기계 번역에 중점을 둔 Sequence-to-sequence 프레임워크

TensorFlow 기반의 EEG 작업(신호) 분류를 위한 딥러닝 라이브러리

Transformer 네트워크, 어텐션 메커니즘, GPT, BERT, ChatGPT, LLM, 전이 학습에 중점을 둔 NLP 리소스 모음

OpenSTL: 시공간 예측 학습을 위한 종합 벤치마크

Pytorch로 구현한 정형 데이터용 어텐션 네트워크 TabTransformer

시퀀스 길이에 대해 선형 복잡도를 갖는 어텐션 변형 기반 Transformer

[ECCV 2020] 실제 이미지 복원 및 향상을 위한 풍부한 특징 학습. 이미지 노이즈 제거, 초해상도, 이미지 향상 부문 SOTA 결과 달성

yolo-high-level 프로젝트(detect, pose, classify, segment) 기반. yolov5, yolov7, yolov8 코어, 개선 연구, SwinTransformerV2 및 Attention 시리즈, 학습 기술, 비즈니스 커스터마이징, 엔지니어링 배포 C++ 포함

MORAN: 장면 텍스트 인식을 위한 다중 객체 교정 어텐션 네트워크

llama3 추론 과정을 단계별로 학습하고 핵심 개념 파악, 프로세스 유도 및 코드 구현

[IGARSS'22]: 변화 탐지를 위한 Transformer 기반 샴 네트워크

FlashAttention (Metal 포트)

[CVPR 2021, Oral] PREDATOR: 겹침이 적은 3D 포인트 클라우드 정렬.

모듈형 빌딩 블록을 사용하여 고성능 AI 모델 구축

[ICLR2025 Spotlight🔥] TokenFormer 공식 구현: 토큰화된 모델 파라미터로 Transformer 스케일링 재고

RT-2의 대중화: 시각과 언어를 행동으로 변환하는 새로운 모델