flash-attention

Alibaba Cloudが提案するQwen (通义千问) チャットおよび事前学習済み大規模言語モデルの公式リポジトリ。

初心者向けのモダンなCUDA学習ノート（PyTorch使用）、200以上のCUDAカーネル、Tensor Cores、HGEMM、FA-2 MMA。

InternLMシリーズ（InternLM, InternLM2, InternLM2.5, InternLM3）の公式リリース。

中国語LLaMA-2 & Alpaca-2大規模モデルフェーズ2プロジェクト + 64K超長コンテキストモデル (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

📚コード付きの素晴らしいLLM/VLM推論論文の厳選リスト：Flash-Attention、Paged-Attention、WINT8/4、Parallelismなど🎉

MoBA: 長コンテキストLLMのためのMixture of Block Attention

cuDNN Frontendは、NVIDIAによるcuDNNライブラリへのモダンでオープンソースなエントリーポイントであり、高性能なオープンソースカーネルのコレクションを拡大しています。

大規模な双方向／自己回帰ビデオ拡散モデルの蒸留に向けた、主導的かつ統合されたアルゴリズムおよびインフラストラクチャ（rCM & Causal-rCM）

トレーニング可能で高速かつメモリ効率の良いスパースアテンション

教師モデルからタイルまで — フルスクラッチのLLM蒸留・サービングエンジン：カスタムTriton/CUDAカーネル、FSDP蒸留、ページ化KV連続バッチ処理、推測デコーディング、Rustゲートウェイ、JAXオラクル、および解釈可能性ツール。