flash-attention

Kho lưu trữ chính thức của mô hình ngôn ngữ lớn hội thoại & tiền huấn luyện Qwen (Thông Nghĩa Thiên Vấn) do Alibaba Cloud đề xuất.

Ghi chú học tập CUDA hiện đại với PyTorch dành cho người mới bắt đầu, hơn 200 CUDA Kernel, Tensor Cores, HGEMM, FA-2 MMA.

Bản phát hành chính thức của dòng InternLM (InternLM, InternLM2, InternLM2.5, InternLM3).

Dự án mô hình lớn Chinese LLaMA-2 & Alpaca-2 giai đoạn 2 + mô hình ngữ cảnh siêu dài 64K

📚 Danh sách tổng hợp các bài báo nghiên cứu về suy luận LLM/VLM xuất sắc kèm mã nguồn: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, v.v. 🎉

MoBA: Mixture of Block Attention dành cho các LLM ngữ cảnh dài (Long-Context LLMs)

cuDNN Frontend là điểm truy cập hiện đại, mã nguồn mở của NVIDIA vào thư viện cuDNN và tập hợp ngày càng phát triển các kernel mã nguồn mở hiệu năng cao.

rCM & Causal-rCM: Các thuật toán/cơ sở hạ tầng hàng đầu và thống nhất cho việc chưng cất khuếch tán video hai chiều/tự hồi quy ở quy mô lớn.

Cơ chế sparse attention có thể huấn luyện, nhanh và tiết kiệm bộ nhớ

Từ mô hình giáo viên đến mô hình tối ưu — engine chưng cất & phục vụ LLM từ đầu: các kernel Triton/CUDA tùy chỉnh, chưng cất FSDP, phân trang KV batching liên tục, giải mã suy đoán, gateway Rust, oracle JAX và công cụ diễn giải.