paged-attention
Các kho mã nguồn mở đang theo dõi được gắn thẻ paged-attention, sắp xếp theo số sao.
Chủ đề liên quan
Những chủ đề thường xuất hiện cùng paged-attention trên cùng một kho mã.
Mới nổi gần đây
Các kho mã tạo trong 90 ngày qua và được gắn thẻ paged-attention.
Không có kho mã mới nào gắn thẻ chủ đề này trong 90 ngày qua.
- #1
📚 Danh sách tổng hợp các bài báo nghiên cứu về suy luận LLM/VLM xuất sắc kèm mã nguồn: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, v.v. 🎉
★ 5.482+3Thay đổi số sao trong 7 ngày qua - #2
Công cụ suy luận LLM bằng Rust thuần + CUDA — không cần PyTorch, tương thích với OpenAI, hỗ trợ từ Qwen3 đến Kimi-K2.
★ 677+14Thay đổi số sao trong 7 ngày qua - #3
Từ mô hình giáo viên đến mô hình tối ưu — engine chưng cất & phục vụ LLM từ đầu: các kernel Triton/CUDA tùy chỉnh, chưng cất FSDP, phân trang KV batching liên tục, giải mã suy đoán, gateway Rust, oracle JAX và công cụ diễn giải.
★ 566+30Thay đổi số sao trong 7 ngày qua
