flash-attention

Qwen（通義千問）聊天與預訓練大型語言模型的官方倉庫，由阿里雲提出

適合初學者的現代 CUDA 學習筆記，搭配 PyTorch，包含 200 多個 CUDA 核心、Tensor Cores、HGEMM、FA-2 MMA。

InternLM 系列正式發布（InternLM、InternLM2、InternLM2.5、InternLM3）

中文 LLaMA-2 與 Alpaca-2 大模型二期專案 + 64K 超長上下文模型

📚 精選Awesome LLM/VLM推理論文與程式碼清單：Flash-Attention、Paged-Attention、WINT8/4、Parallelism等。🎉

MoBA：長文本 LLM 的區塊注意力混合模型

cuDNN Frontend 是 NVIDIA 的現代化開源 cuDNN 函式庫入口，並提供日益增加的高效能開源核心集合。

rCM 與 Causal-rCM：大規模雙向／自迴歸影片擴散蒸餾的領先與統一演算法／基礎設施

可訓練、快速且記憶體效率高的稀疏注意力機制

從教師模型到模型切片——從零開始的 LLM 蒸餾與服務引擎：包含自訂 Triton/CUDA 核心、FSDP 蒸餾、paged-KV 連續批次處理、推測解碼、Rust 閘道、JAX 預測器與可解釋性工具。