attention

🧑‍🏫 Hơn 60 bản cài đặt/hướng dẫn các bài báo về deep learning kèm ghi chú chi tiết 📝; bao gồm transformer (gốc, xl, switch, feedback, vit, ...), trình tối ưu hóa (adam, adabelief, sophia, ...), gan (cyclegan, stylegan2, ...), 🎮 học tăng cường (ppo, dqn), capsnet, chưng cất, ... 🧠

SGLang là framework phục vụ hiệu suất cao cho các mô hình ngôn ngữ lớn và mô hình đa phương thức.

Hướng dẫn Xử lý Ngôn ngữ Tự nhiên dành cho các nhà nghiên cứu Deep Learning

Một bản tái thiết kế lý thuyết về kiến trúc Claude Mythos, được xây dựng từ các nguyên lý đầu tiên sử dụng tài liệu nghiên cứu hiện có.

Bản triển khai PyTorch của các cơ chế Attention, MLP, Re-parameter, Convolution khác nhau, hữu ích để hiểu sâu hơn về các bài báo nghiên cứu.

Một bản cài đặt PyTorch của mô hình Transformer trong "Attention is All You Need".

FlashInfer: Thư viện Kernel cho phục vụ LLM

Hướng dẫn triển khai một số mô hình chuỗi sang chuỗi (seq2seq) bằng PyTorch và TorchText.

Transformer: Triển khai PyTorch của "Attention Is All You Need"

Scenic: Thư viện Jax dành cho nghiên cứu thị giác máy tính và hơn thế nữa

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention đạt tốc độ xử lý nhanh hơn 2-5 lần so với FlashAttention, mà không làm giảm các chỉ số tổng thể trên các mô hình ngôn ngữ, hình ảnh và video.

Kho lưu trữ PyTorch của YOLOv4, attentive YOLOv4 và mobilenet YOLOv4 với PASCAL VOC và COCO

Tổng hợp các bài báo nghiên cứu hay nhất về multi-agent

Phiên bản triển khai PyTorch của Transfusion, "Predict the Next Token and Diffuse Images with One Multi-Modal Model", từ MetaAI.

Tái tạo các dự án Computer Vision đơn giản bao gồm cơ chế attention, phân loại, phát hiện, phát hiện điểm ключевой, v.v.

Xây dựng công cụ suy luận LLM hiệu suất cao của riêng bạn bằng C++ và CUDA - một phiên bản nhỏ hơn của vLLM

[ICML2025] SpargeAttention: Cơ chế chú ý thưa thớt không cần huấn luyện giúp tăng tốc suy luận của mọi mô hình.

cuDNN Frontend là điểm truy cập hiện đại, mã nguồn mở của NVIDIA vào thư viện cuDNN và tập hợp ngày càng phát triển các kernel mã nguồn mở hiệu năng cao.

Một thư viện PyTorch dành cho mọi khía cạnh của Học tăng cường (RL) trong Tối ưu hóa tổ hợp (CO).

Triển khai mô hình sparse attention được đề xuất bởi nhóm Deepseek trong bài báo "Native Sparse Attention"

Phân loại văn bản đa nhãn, phân loại đa nhãn, phân loại văn bản, multi-label, classifier, text classification, BERT, seq2seq, attention, multi-label-classification

[TNSRE 23] EEG Transformer 2.0. i. Convolutional Transformer để giải mã EEG. ii. Trực quan hóa mới - Class Activation Topography.

Triển khai cơ chế Attention cắm-và-chạy từ bài báo "LongNet: Scaling Transformers to 1,000,000,000 Tokens".

Thực hiện suy luận llama3 từng bước, nắm vững các khái niệm cốt lõi, hiểu rõ quá trình suy luận và triển khai mã nguồn.

Keras beit, caformer, CMT, CoAtNet, convnext, davit, dino, efficientdet, edgenext, efficientformer, efficientnet, eva, fasternet, fastervit, fastvit, flexivit, gcvit, ghostnet, gpvit, hornet, hiera, iformer, inceptionnext, lcnet, levit, maxvit, mobilevit, moganet, nat, nfnets, pvt, swin, tinynet, tinyvit, uniformer, volo, vanillanet, yolor, yolov7, yolov8, yolox, gpt2, llama2, bí danh kecam

Triển khai các mô hình Transformer bằng Julia

Triển khai chính thức bằng PyTorch cho bài báo "SAITS: Self-Attention-based Imputation for Time Series". Một mô hình mạng thần kinh học sâu nhanh và hiện đại (SOTA) để xử lý dữ liệu chuỗi thời gian bị thiếu (điền các giá trị NaN trong chuỗi thời gian đa biến bằng học máy). https://arxiv.org/abs/2202.08516

Thiết kế kiến trúc mô hình thân thiện với phần cứng và di chuyển các LLM hiện có với mức giảm hiệu suất tối thiểu