triton

Kernels Triton efficaces pour l'entraînement de LLM

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention permet une accélération de 2 à 5x par rapport à FlashAttention, sans perte de métriques de bout en bout pour les modèles de langage, d'image et de vidéo.

LeetCode pour PyTorch : 65 problèmes d'entretien ML/IA issus d'entretiens réels chez Google, Meta et Anthropic. Inclut des notebooks Jupyter, un auto-correcteur et un tuteur IA MCP.

Compilateur open-source CUDA, Triton et HIP ciblant diverses architectures GPU et CPU.

Auto-recherche pour les noyaux GPU. Fournissez n'importe quel modèle PyTorch, allez dormir, et réveillez-vous avec des noyaux Triton optimisés.

FlagGems est une bibliothèque d'opérateurs pour les grands modèles de langage, implémentée dans le langage Triton.

Collection de projets publics remarquables sur les LLM, VLM, VLA, AIGC, ainsi que les jeux de données et applications associés.

Attention creuse (sparse attention) entraînable, rapide et économe en mémoire

Des puzzles pour apprendre Triton, jouables avec une configuration d'environnement minimale !

Module du noyau Linux pour prendre en charge le mode Turbo et le clavier RVB pour la série de portables Acer Predator

Un sous-ensemble des modules de réseaux de neurones de PyTorch, écrits en Python avec le Triton d'OpenAI.

From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.

LLM algorithm practice lab with theory, solutions, and test cases.《大模型算法与系统教程》面向大模型入门到进阶的算法实战教程，覆盖原理讲解、答案解析、测试用例与 CUDA/Triton 实战。

🚀🚀🚀 Ce dépôt liste des projets remarquables en CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX et en calcul haute performance (HPC).