flash-attention

Le dépôt officiel de Qwen (通义千问), un modèle de langage étendu de chat et pré-entraîné proposé par Alibaba Cloud.

Notes d'apprentissage modernes sur CUDA avec PyTorch pour débutants, incluant plus de 200 noyaux CUDA, Tensor Cores, HGEMM, FA-2 MMA.

Publication officielle de la série InternLM (InternLM, InternLM2, InternLM2.5, InternLM3).

Projet de phase 2 pour les grands modèles LLaMA-2 et Alpaca-2 en chinois, incluant des modèles avec un contexte étendu de 64K.

Liste organisée d'articles de recherche sur l'inférence LLM/VLM avec code : Flash-Attention, Paged-Attention, WINT8/4, parallélisme, etc.

MoBA : Mixture of Block Attention pour les LLM à long contexte

cuDNN Frontend est le point d'entrée moderne et open-source de NVIDIA vers la bibliothèque cuDNN et une collection croissante de noyaux open-source haute performance.

rCM & Causal-rCM : Algorithmes et infrastructures de pointe unifiés pour la distillation de diffusion vidéo bidirectionnelle/autorégressive à grande échelle

Attention creuse (sparse attention) entraînable, rapide et économe en mémoire

From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.