flash-attention

Alibaba Cloud가 제안한 Qwen(통의천문) 채팅 및 사전 학습된 대규모 언어 모델의 공식 저장소.

초보자를 위한 PyTorch 기반 최신 CUDA 학습 노트, 200개 이상의 CUDA 커널, Tensor Cores, HGEMM, FA-2 MMA.

InternLM 시리즈 공식 릴리스 (InternLM, InternLM2, InternLM2.5, InternLM3).

중국어 LLaMA-2 & Alpaca-2 대형 언어 모델 2기 프로젝트 + 64K 초장문 컨텍스트 모델

📚 코드와 함께 제공되는 엄선된 Awesome LLM/VLM 추론 논문 목록: Flash-Attention, Paged-Attention, WINT8/4, 병렬화 등 🎉

MoBA: 롱 컨텍스트 LLM을 위한 블록 어텐션의 혼합 (Mixture of Block Attention)

cuDNN Frontend는 NVIDIA의 현대적인 오픈 소스 cuDNN 라이브러리 진입점이자 고성능 오픈 소스 커널의 성장하는 컬렉션입니다.

대규모 양방향/자기회귀 비디오 확산 증류를 위한 선도적이고 통합된 알고리즘 및 인프라 rCM & Causal-rCM

학습 가능하고 빠르며 메모리 효율적인 희소 어텐션(sparse attention)

교사 모델에서 타일 모델까지 — 처음부터 구현한 LLM 증류 및 서빙 엔진: 커스텀 Triton/CUDA 커널, FSDP 증류, 페이징된 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구를 포함합니다.