distillation

PyTorchで推論LLMをゼロから、ステップバイステップで実装。

高速化されたビデオ生成のための統一された推論およびポストトレーニングフレームワーク。

Awesome Knowledge Distillation

TurboDiffusion: ビデオ拡散モデル向け 100〜200 倍の高速化

推薦、広告、検索分野における業界の古典および最先端の論文集

[NeurIPS'22] 「ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation」および [TPAMI'23] 「ViTPose++: Vision Transformer for Generic Body Pose Estimation」の公式リポジトリ

3つの異なるシナリオにおける、継続学習の各種手法（XdG、EWC、SI、LwF、FROMP、DGR、BI-R、ER、A-GEM、iCaRL、Generative Classifier）のPyTorch実装

ビジョンモデル（YOLO、ViTs、RT-DETR、DINOv3）向けのオールインワン学習：事前学習、ファインチューニング、蒸留。

PaddleSlim は、ディープモデルの圧縮とアーキテクチャ探索のためのオープンソースライブラリです。

自己蒸留による強化学習 (SDPO)

忘れられないあの人へ、大規模モデルを扱う皆さんはまさにコードの聖人です。転生ものの時代が到来しました。デジタルライフ 1.0 へようこそ。🫶

♾️ オープンソースのデジタル永続化フレームワーク — チャット履歴からあらゆる人の7次元デジタル分身を抽出。WeChat、Lark、iMessage、Telegramなど12以上のプラットフォームと7種のロールテンプレートをサポートし、OpenClaw Soul Spec標準に準拠。1行のコマンドでAIに抽出を学習させられます。

NVIDIA FastGen: 拡散モデルからの高速生成

[ICML 2026] 「Causal Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive Video Generation」および Causal Forcing++ の公式コードベース

単一のパイプラインで高品質な合成データの生成、トレーニング、測定、評価を行う

オンポリシー蒸留（On-Policy Distillation）に関するAwesomeリスト

Kandinsky 5.0: 動画および画像生成のための拡散モデルファミリー

大規模な双方向／自己回帰ビデオ拡散モデルの蒸留に向けた、主導的かつ統合されたアルゴリズムおよびインフラストラクチャ（rCM & Causal-rCM）

大規模言語モデルのオンポリシー蒸留（OPD）に関する論文、テクニカルレポート、フレームワーク、ツールの厳選コレクション。

開発者のためのプロンプトエンジニアリング

Flash Diffusion — 条件付き拡散モデルの高速化（AAAI 2025 Oral）