triton

LLM 학습을 위한 효율적인 Triton Kernel

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention은 언어, 이미지, 비디오 모델 전반에서 엔드투엔드 메트릭 손실 없이 FlashAttention 대비 2~5배의 속도 향상을 달성합니다.

PyTorch를 위한 LeetCode — Google, Meta, Anthropic의 실제 인터뷰에서 출제된 65개의 ML/AI 인터뷰 문제. Jupyter 노트북, 자동 채점기, MCP AI 튜터 제공.

다양한 GPU 및 CPU 아키텍처를 타겟으로 하는 오픈소스 CUDA, Triton 및 HIP 컴파일러

GPU 커널 자동 연구. PyTorch 모델을 제공하고 잠자고 일어나면 최적화된 Triton 커널이 완성됩니다.

FlagGems는 Triton Language로 구현된 대규모 언어 모델용 연산자 라이브러리입니다.

LLM, VLM, VLA, AIGC 관련 데이터셋 및 애플리케이션을 다루는 우수한 공개 프로젝트 모음

학습 가능하고 빠르며 메모리 효율적인 희소 어텐션(sparse attention)

Triton 학습을 위한 퍼즐, 최소한의 환경 설정으로 바로 실행 가능

Acer Predator 노트북 시리즈의 터보 모드 및 RGB 키보드를 지원하는 Linux 커널 모듈

OpenAI의 Triton을 사용하여 Python으로 작성된 PyTorch 신경망 모듈의 하위 집합

교사 모델에서 타일 모델까지 — 처음부터 구현한 LLM 증류 및 서빙 엔진: 커스텀 Triton/CUDA 커널, FSDP 증류, 페이징된 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구를 포함합니다.

LLM algorithm practice lab with theory, solutions, and test cases.《大模型算法与系统教程》面向大模型入门到进阶的算法实战教程，覆盖原理讲解、答案解析、测试用例与 CUDA/Triton 实战。

CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX 및 고성능 컴퓨팅(HPC) 관련 우수 프로젝트 목록