flash-attention

O repositório oficial do Qwen (通义千问), modelo de linguagem grande de chat e pré-treinado proposto pela Alibaba Cloud.

Notas de estudo modernas de CUDA com PyTorch para iniciantes, mais de 200 kernels CUDA, Tensor Cores, HGEMM, FA-2 MMA.

Lançamento oficial da série InternLM (InternLM, InternLM2, InternLM2.5, InternLM3).

Projeto fase 2 de LLMs Chinese LLaMA-2 & Alpaca-2 + modelos de contexto ultralongo de 64K (Chinese LLaMA-2 & Alpaca-2 LLMs com modelos de contexto longo de 64K)

📚 Uma lista curada de artigos incríveis sobre inferência de LLM/VLM com código: Flash-Attention, Paged-Attention, WINT8/4, paralelismo, etc. 🎉

MoBA: Mixture of Block Attention para LLMs de contexto longo

O frontend do cuDNN é o ponto de entrada moderno e de código aberto da NVIDIA para a biblioteca cuDNN e uma coleção crescente de kernels de código aberto de alto desempenho.

rCM & Causal-rCM: Algoritmos e infraestruturas líderes e unificados para destilação de difusão de vídeo bidirecional/autorregressiva em larga escala

Atenção esparsa treinável, rápida e eficiente em termos de memória

From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.