knowledge-distillation

将冰冷的离别化为温暖的 Skill，欢迎加入数字生命 1.0！

将书籍、长视频、播客等高价值内容蒸馏为可执行的 Agent Skills

一个由 PaddlePaddle 驱动的视觉分类与识别宝箱

优秀的知识蒸馏

由华为 Noah's Ark Lab 开发的预训练语言模型及其相关优化技术

用於視覺任務的精選視覺語言模型合集

AI 驱动的知识图谱生成器

领先的低比特大型语言模型（LLM）量化（INT8/FP8/MXFP8/INT4/MXFP4/NVFP4）与稀疏化技术；基于 PyTorch、TensorFlow 和 ONNX Runtime 的顶尖模型压缩技术

EasyNLP：全面且易用的 NLP 工具包

高效大型语言模型精选列表

这是我们关于 NAS 与 Vision Transformer 工作的集合。

OpenMMLab 模型压缩工具箱与基准测试。

基于 PyTorch 构建的无代码框架，用于可复现的深度学习研究。PyTorch 生态系统。🏆 至今已实现 26 种发表于 TPAMI、CVPR、ICLR、ECCV、NeurIPS、ICCV、AAAI 等会议的知识蒸馏方法。🎁 提供已训练模型、训练日志与配置文件，以确保可复现性与基准测试。

由 Huawei Noah's Ark Lab 开发的高效计算方法

此存储库收集了“Large Language Model 知识蒸馏调查”的相关论文。我们将知识蒸馏（KD）拆解为知识引出与蒸馏算法，并探讨 LLM 的技能与垂直蒸馏。

（深度）神经网络压缩与加速的近期方法集合。

基于 Pytorch 的可扩展（通用）持续学习框架 - 通用持续学习黑暗经验 (Dark Experience) 官方代码库

大语言模型策略内蒸馏（OPD）的精选论文、技术报告、框架与工具集合

[ICCV 2023] MI-GAN：行动装置影像修复的简单基准

从教师模型到模型切片——从零开始的 LLM 蒸馏与服务引擎：包含自定义 Triton/CUDA 内核、FSDP 蒸馏、paged-KV 连续批处理、推测解码、Rust 网关、JAX 预测器与可解释性工具。

精选的大型语言模型 On-Policy 蒸馏论文与资源合集。