attention

🧑‍🏫 노트가 나란히 제공되는 딜 러닝 논문 구현/튜토리얼 60개 이상 📝; 트랜스포머(original, xl, switch, feedback, vit 등), 옵티마이저(adam, adabelief, sophia 등), GAN(cyclegan, stylegan2 등), 🎮 강화학습(ppo, dqn), capsnet, 증류 등 🧠

SGLang은 대규모 언어 모델 및 멀티모달 모델을 위한 고성능 서빙 프레임워크입니다.

딥러닝 연구원을 위한 자연어 처리 튜토리얼

사용 가능한 연구 문헌을 바탕으로 제1원칙에서 출발하여 Claude Mythos 아키텍처를 이론적으로 재구성한 프로젝트.

🍀 논문을 더 깊이 이해하는 데 도움이 되는 다양한 Attention Mechanisms, MLP, Re-parameter, Convolution의 PyTorch 구현입니다.⭐⭐⭐

"Attention is All You Need" 논문의 Transformer 모델을 PyTorch로 구현한 것입니다.

FlashInfer: LLM 서빙을 위한 커널 라이브러리

PyTorch와 TorchText를 이용한 시퀀스 투 시퀀스(seq2seq) 모델 구현 튜토리얼

Transformer: "Attention Is All You Need" 논문의 PyTorch 구현체

Scenic: 컴퓨터 비전 연구 등을 위한 Jax 라이브러리.

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention은 언어, 이미지, 비디오 모델 전반에서 엔드투엔드 메트릭 손실 없이 FlashAttention 대비 2~5배의 속도 향상을 달성합니다.

PASCAL VOC 및 COCO 데이터셋을 사용하는 YOLOv4, attentive YOLOv4 및 mobilenet YOLOv4의 PyTorch 저장소입니다.

최고의 멀티 에이전트 논문 모음

MetaAI의 논문 "Predict the Next Token and Diffuse Images with One Multi-Modal Model"에 등장하는 Transfusion의 PyTorch 구현체입니다.

어텐션, 분류, 탐지, 키포인트 탐지 등을 포함한 간단한 CV 프로젝트 구현

C++ 및 CUDA로 구축하는 고성능 LLM 추론 엔진 - vLLM의 경량 버전

[ICML2025] SpargeAttention: 모든 모델의 추론을 가속화하는 학습 없는 희소 어텐션(sparse attention).

cuDNN Frontend는 NVIDIA의 현대적인 오픈 소스 cuDNN 라이브러리 진입점이자 고성능 오픈 소스 커널의 성장하는 컬렉션입니다.

조합 최적화(CO)를 위한 강화학습(RL) 관련 모든 기능을 제공하는 PyTorch 라이브러리

Deepseek 팀이 "Native Sparse Attention" 논문에서 제안한 희소 어텐션(sparse attention) 패턴의 구현체

다중 라벨 텍스트 분류, 다중 라벨 분류, 텍스트 분류, multi-label, classifier, text classification, BERT, seq2seq, attention, multi-label-classification

[TNSRE 23] EEG Transformer 2.0. i. EEG 디코딩을 위한 Convolutional Transformer. ii. 새로운 시각화 방식 - Class Activation Topography.

LongNet: Scaling Transformers to 1,000,000,000 Tokens 논문의 플러그 앤 플레이 Attention 구현

llama3 추론 과정을 단계별로 학습하고 핵심 개념 파악, 프로세스 유도 및 코드 구현

Keras beit, caformer, CMT, CoAtNet, convnext, davit, dino, efficientdet, edgenext, efficientformer, efficientnet, eva, fasternet, fastervit, fastvit, flexivit, gcvit, ghostnet, gpvit, hornet, hiera, iformer, inceptionnext, lcnet, levit, maxvit, mobilevit, moganet, nat, nfnets, pvt, swin, tinynet, tinyvit, uniformer, volo, vanillanet, yolor, yolov7, yolov8, yolox, gpt2, llama2, 별칭 kecam

Transformer 모델의 Julia 구현체

논문 SAITS: Self-Attention-based Imputation for Time Series의 공식 PyTorch 구현. 머신러닝을 통해 다변량 시계열 데이터의 결측치를 효율적으로 보간하는 최신(SOTA) 딥러닝 신경망 모델

Design hardware-friendly model architectures and migrate existing LLMs with minimal performance loss