triton

Effiziente Triton-Kernel für das LLM-Training

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention erzielt eine 2- bis 5-fache Beschleunigung im Vergleich zu FlashAttention, ohne Einbußen bei End-to-End-Metriken über Sprach-, Bild- und Videomodelle hinweg.

LeetCode für PyTorch — 65 ML/AI-Interviewprobleme aus echten Interviews bei Google, Meta, Anthropic. Jupyter-Notebooks, ein automatischer Evaluator und ein MCP-KI-Tutor.

Open-Source-CUDA-, Triton- und HIP-Compiler für verschiedene GPU- und CPU-Architekturen.

Automatische Forschung für GPU-Kernel. Gib ihm ein beliebiges PyTorch-Modell, geh schlafen und wache mit optimierten Triton-Kerneln auf.

FlagGems ist eine in der Triton Language implementierte Operator-Bibliothek für große Sprachmodelle.

🚀🚀🚀 Eine Sammlung großartiger öffentlicher Projekte zu Large Language Models (LLM), Vision Language Models (VLM), Vision Language Action (VLA), AI Generated Content (AIGC) sowie den zugehörigen Datensätzen und Anwendungen.

Trainierbare, schnelle und speichereffiziente spärliche Aufmerksamkeit

Rätsel zum Lernen von Triton, spielbar mit minimaler Umgebungskonfiguration!

Linux-Kernelmodul zur Unterstützung des Turbo-Modus und der RGB-Tastatur für Acer-Predator-Notebooks

Eine Teilmenge der neuronalen Netzwerkmodule von PyTorch, geschrieben in Python mit OpenAI Triton.

Vom Lehrer zu den Kacheln – eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: mit benutzerdefinierten Triton/CUDA-Kernels, FSDP-Destillation, Paged-KV Continuous Batching, spekulativem Decoding, einem Rust-Gateway, einem JAX-Oracle und Tools zur Interpretierbarkeit.

Praxislabor für LLM-Algorithmen mit Theorie, Lösungen und Testfällen. Ein Tutorial für Large Language Models von den Grundlagen bis zur fortgeschrittenen Praxis, inklusive Prinzipien, Analysen, Testfällen sowie CUDA/Triton-Anwendungen.

🚀🚀🚀 Dieses Repository listet herausragende öffentliche Projekte zu CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX und High Performance Computing (HPC).