knowledge-distillation

將冰冷的離別化為溫暖的 Skill，歡迎加入數位生命 1.0！

將書籍、長影片、播客等高價值內容蒸餾為可執行的 Agent Skills

一個由 PaddlePaddle 驅動的視覺分類與識別寶箱

優秀的知識蒸餾

由華為 Noah's Ark Lab 開發的預訓練語言模型及其相關優化技術

用於視覺任務的精選視覺語言模型合集

AI 驅動的知識圖譜生成器

領先的低位元大型語言模型（LLM）量化（INT8/FP8/MXFP8/INT4/MXFP4/NVFP4）與稀疏化技術；基於 PyTorch、TensorFlow 和 ONNX Runtime 的頂尖模型壓縮技術

EasyNLP：全面且易用的 NLP 工具包

高效率大型語言模型精選清單

這是我們關於 NAS 與 Vision Transformer 工作的集合。

OpenMMLab 模型壓縮工具箱與基準測試。

基於 PyTorch 構建的無程式碼框架，用於可重複的深度學習研究。PyTorch 生態系統。🏆 至今已實作 26 種發表於 TPAMI、CVPR、IClR、ECCV、NeurIPS、ICCV、AAAI 等會議的知識蒸餾方法。🎁 提供已訓練模型、訓練日誌與設定檔，以確保可重複性與基準測試。

由 Huawei Noah's Ark Lab 開發的高效運算方法

此儲存庫收集了「Large Language Model 知識蒸餾調查」的相關論文。我們將知識蒸餾（KD）拆解為知識引出與蒸餾演算法，並探討 LLM 的技能與垂直蒸餾。

（深度）神經網路壓縮與加速的近期方法集合。

基於 Pytorch 的可擴充（通用）持續學習框架 - 通用持續學習黑暗經驗 (Dark Experience) 官方程式碼庫

大型語言模型策略內蒸餾（OPD）的精選論文、技術報告、框架與工具集合

[ICCV 2023] MI-GAN：行動裝置影像修復的簡單基準

從教師模型到模型切片——從零開始的 LLM 蒸餾與服務引擎：包含自訂 Triton/CUDA 核心、FSDP 蒸餾、paged-KV 連續批次處理、推測解碼、Rust 閘道、JAX 預測器與可解釋性工具。

精選的大型語言模型 On-Policy 蒸餾論文與資源合集。