attention-mechanism

Tự triển khai một LLM giống ChatGPT bằng PyTorch từ đầu, từng bước một

Triển khai Vision Transformer, một cách đơn giản để đạt trạng thái tối tân (SOTA) trong phân loại thị giác chỉ với một transformer encoder duy nhất, trên PyTorch

Sách lý thuyết "Mạng nơ-ron và Học sâu" của Qiu Xipeng (Sách Bồ công anh) v2 và phiên bản phổ thông

RWKV (phát âm là RwaKuv) là một RNN có hiệu suất LLM tuyệt vời, cũng có thể được đào tạo trực tiếp giống như một transformer GPT (có thể song song hóa). Chúng ta đang ở phiên bản RWKV-7 "Goose". Do đó, nó kết hợp những điểm ưu việt nhất của RNN và transformer - hiệu suất tuyệt vời, thời gian tuyến tính, bộ nhớ không đổi (không có kv-cache), huấn luyện nhanh, ctx_len vô hạn và embedding câu miễn phí.

Một transformer full-attention súc tích nhưng đầy đủ với tập hợp các tính năng thử nghiệm đầy hứa hẹn từ các tài liệu nghiên cứu khác nhau

Cài đặt / tái tạo DALL-E, Transformer Văn bản sang Hình ảnh của OpenAI, bằng PyTorch

Danh sách tài liệu nghiên cứu cực kỳ toàn diện về Vision Transformer/Attention, bao gồm các bài báo, mã nguồn và các trang web liên quan

RuVector là một cơ sở dữ liệu bộ nhớ (Memory DB) Vector GNN, AI tự học, thời gian thực, hiệu năng cao được xây dựng bằng Rust.

Xây dựng một LLM hiện đại từ đầu. Mọi dòng lệnh đều có chú thích. Giải thích theo cách đơn giản nhất có thể.

Nhận dạng Tự động Tiếng nói Đa ngôn ngữ với mốc thời gian cấp độ từ và độ tin cậy

Lớp Attention trong Keras (điểm số Luong và Bahdanau).

Bản cài đặt SoundStorm, Tạo âm thanh song song hiệu quả từ Google Deepmind, bằng PyTorch

Học cơ chế bên trong của LLM từng bước - từ tokenization đến attention và tối ưu hóa suy luận.

Triển khai Perceiver, General Perception with Iterative Attention, trong Pytorch

Khung sequence-to-sequence tập trung vào Dịch máy thần kinh dựa trên PyTorch

Thư viện Deep Learning dành cho tác vụ phân loại tín hiệu EEG (tín hiệu não), dựa trên TensorFlow.

Danh sách các tài nguyên NLP được tuyển chọn tập trung vào mạng Transformer, cơ chế chú ý, GPT, BERT, ChatGPT, LLM và học chuyển giao.

OpenSTL: Bộ chuẩn mực toàn diện về học tập dự đoán không gian - thời gian

Triển khai TabTransformer, mạng attention cho dữ liệu dạng bảng, trong PyTorch

Transformer dựa trên một biến thể của cơ chế attention có độ phức tạp tuyến tính so với độ dài chuỗi.

[ECCV 2020] Học các đặc trưng phong phú để phục hồi và nâng cao hình ảnh thực tế. Kết quả SOTA cho khử nhiễu, siêu phân giải và nâng cao chất lượng hình ảnh

Dựa trên dự án yolo-high-level (detect/pose/classify/segment): bao gồm lõi yolov5/yolov7/yolov8, nghiên cứu cải tiến, SwintransformV2 và các dòng Attention. Kỹ năng huấn luyện, tùy chỉnh doanh nghiệp, triển khai kỹ thuật C

MORAN: Mạng chú ý chỉnh lưu đa đối tượng cho nhận dạng văn bản trong cảnh.

Thực hiện suy luận llama3 từng bước, nắm vững các khái niệm cốt lõi, hiểu rõ quá trình suy luận và triển khai mã nguồn.

[IGARSS'22]: Mạng Siamese dựa trên Transformer để phát hiện thay đổi.

FlashAttention (Cổng Metal)

[CVPR 2021, Oral] PREDATOR: Đăng ký đám mây điểm 3D với độ chồng lấp thấp.

Xây dựng các mô hình AI hiệu năng cao với các khối xây dựng dạng mô-đun

[ICLR2025 Spotlight🔥] Triển khai chính thức của TokenFormer: Suy ngẫm lại về việc mở rộng quy mô Transformer với các tham số mô hình được token hóa.

Phổ cập hóa RT-2 "RT-2: Mô hình mới chuyển đổi tầm nhìn và ngôn ngữ thành hành động".