knowledge-distillation

冷たい別れを温かいスキルに変える、Digital Life 1.0へようこそ！冷たい別れを温かいスキルに変える？これは再生の時代だ。Digital Life 1.0へようこそ。🫶

書籍、長尺動画、ポッドキャストなどの高価値コンテンツを実行可能なAgent Skillsに蒸留する。

PaddlePaddleを搭載した、視覚的分類と認識のための宝箱。

Awesome Knowledge Distillation

Huawei Noah's Ark Labが開発した事前学習済み言語モデルおよび関連する最適化技術。

視覚タスク向けの優れた Vision-Language モデルのコレクション

AI 駆動型のナレッジグラフジェネレータ。

SOTA 低ビット LLM 量子化 (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) とスパース性；PyTorch、TensorFlow、ONNX Runtime における主要なモデル圧縮技術

EasyNLP：包括的で使いやすい NLP ツールキット。

効率的な Large Language Models に関する厳選されたリスト

NAS および Vision Transformer に関する我々の研究成果のコレクション

OpenMMLab モデル圧縮ツールボックスおよびベンチマークです。

再現性のあるディープラーニング研究のためにPyTorchをベースに構築されたノーコードフレームワーク。PyTorchエコシステム。TPAMI、CVPR、ICLR、ECCV、NeurIPS、ICCV、AAAIなどで発表された26の知識蒸留メソッドを実装済み。再現性とベンチマークを保証するため、学習済みモデル、学習ログ、設定ファイルを提供。

Huawei Noah's Ark Labが開発した効率的な計算手法。

このリポジトリは「Large Language Models の知識蒸留に関する調査」の論文を集めたものです。知識蒸留を知識誘出と蒸留アルゴリズムに分解し、LLM のスキルおよび垂直方向の蒸留を探索します

（ディープ）ニューラルネットワークの圧縮と高速化に関する最近の手法コレクション。

PyTorch をベースにした拡張可能な（汎用）継続学習フレームワーク - Dark Experience for General Continual Learning の公式コードベース

大規模言語モデルのオンポリシー蒸留（OPD）に関する論文、テクニカルレポート、フレームワーク、ツールの厳選コレクション。

[ICCV 2023] MI-GAN: モバイルデバイス上の画像インペインティングのためのシンプルなベースライン

教師モデルからタイルまで — フルスクラッチのLLM蒸留・サービングエンジン：カスタムTriton/CUDAカーネル、FSDP蒸留、ページ化KV連続バッチ処理、推測デコーディング、Rustゲートウェイ、JAXオラクル、および解釈可能性ツール。

大規模言語モデルのオンポリシー蒸留に関する論文とリソースの厳選されたコレクション