triton

用于 LLM 训练的高效 Triton 核心

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention 在速度上比 FlashAttention 提升 2-5 倍，且不损失语言、影像与影片模型的端到端指标

PyTorch 的 LeetCode — 来自 Google、Meta、Anthropic 真实面试的 65 道 ML/AI 面试题。包含 Jupyter notebooks、自动评分器以及 MCP AI 家教。

开源的 CUDA、Triton 和 HIP 编译器，针对多种 GPU 和 CPU 架构。

GPU 内核自动研究。给它任何 PyTorch 模型，睡个觉，醒来就能获得优化的 Triton 内核。

FlagGems 是一个使用 Triton Language 实现的大型语言模型算子库。

🚀🚀🚀 收集一些关于大型语言模型（LLM）、视觉语言模型（VLM）、视觉语言动作（VLA）、AI 生成内容（AIGC）以及相关数据集与应用的优秀公开项目。

可训练、快速且内存效率高的稀疏注意力机制

学习 Triton 的拼图练习，只需极少的环境配置即可游玩！

支持 Acer Predator 系列笔记本电脑 Turbo 模式与 RGB 键盘的 Linux 内核模块

PyTorch 神经网路模组的子集，使用 OpenAI 的 Triton 以 Python 编写。

从教师模型到模型切片——从零开始的 LLM 蒸馏与服务引擎：包含自定义 Triton/CUDA 内核、FSDP 蒸馏、paged-KV 连续批处理、推测解码、Rust 网关、JAX 预测器与可解释性工具。

LLM algorithm practice lab with theory, solutions, and test cases.《大模型算法与系统教程》面向大模型入门到进阶的算法实战教程，覆盖原理讲解、答案解析、测试用例与 CUDA/Triton 实战。

此仓库列出了一些优秀的 CUDA、cuda-python、cuBLAS、cuDNN、CUTLASS、TensorRT、TensorRT-LLM、Triton、TVM、MLIR、PTX 与高性能计算 (HPC) 项目。