triton

Triton Kernel hiệu quả cho việc huấn luyện LLM

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention đạt tốc độ xử lý nhanh hơn 2-5 lần so với FlashAttention, mà không làm giảm các chỉ số tổng thể trên các mô hình ngôn ngữ, hình ảnh và video.

LeetCode cho PyTorch — 65 bài toán phỏng vấn ML/AI từ các buổi phỏng vấn thực tế tại Google, Meta, Anthropic. Bao gồm Jupyter notebook, hệ thống tự động chấm điểm và gia sư AI MCP.

Trình biên dịch CUDA, Triton và HIP mã nguồn mở nhắm đến nhiều kiến trúc GPU và CPU.

Tự động nghiên cứu cho các GPU kernel. Cung cấp bất kỳ mô hình PyTorch nào, đi ngủ và thức dậy với các Triton kernel được tối ưu hóa.

FlagGems là thư viện toán tử dành cho các mô hình ngôn ngữ lớn được triển khai bằng Triton Language.

🚀🚀🚀 Bộ sưu tập các dự án công khai ấn tượng về Mô hình ngôn ngữ lớn (LLM), Mô hình ngôn ngữ thị giác (VLM), Hành động ngôn ngữ thị giác (VLA), Nội dung do AI tạo (AIGC), cùng các bộ dữ liệu và ứng dụng liên quan.

Cơ chế sparse attention có thể huấn luyện, nhanh và tiết kiệm bộ nhớ

Các câu đố để học Triton, chơi với cấu hình môi trường tối thiểu!

Module nhân Linux hỗ trợ chế độ Turbo và bàn phím RGB cho dòng máy tính xách tay Acer Predator

Một tập con của các mô-đun mạng thần kinh trong PyTorch, được viết bằng Python sử dụng Triton của OpenAI.

Từ mô hình giáo viên đến mô hình tối ưu — engine chưng cất & phục vụ LLM từ đầu: các kernel Triton/CUDA tùy chỉnh, chưng cất FSDP, phân trang KV batching liên tục, giải mã suy đoán, gateway Rust, oracle JAX và công cụ diễn giải.

Phòng thực hành thuật toán LLM với lý thuyết, lời giải và các trường hợp kiểm thử. Hướng dẫn thực hành thuật toán từ cơ bản đến nâng cao cho các mô hình lớn, bao gồm giải thích nguyên lý, phân tích đáp án, trường hợp kiểm thử và thực hành CUDA/Triton.

Danh sách các dự án mã nguồn mở nổi bật về CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX và Điện toán hiệu năng cao (HPC).