pruning

《李宏毅深度学习教程》（李宏毅先生推奨👍、Apple Books🍎）、PDFダウンロードアドレス：https://github.com/datawhalechina/leedl-tutorial/releases

[CVPR 2023] DepGraph：あらゆる構造的プルーニングに向けて（LLM、Vision Foundation Models など）

SOTA 低ビット LLM 量子化 (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) とスパース性；PyTorch、TensorFlow、ONNX Runtime における主要なモデル圧縮技術

AIMET は、トレーニング済みのニューラルネットワークモデルに対して高度な量子化と圧縮のテクニックを提供するライブラリです。

ニューラルネットワークプルーニングに関する厳選されたリソースリスト

モデルの圧縮およびデプロイライブラリ「micronet」。圧縮機能：1. 量子化（QAT、High-Bit、Low-Bit/Ternary and Binary、PTQ、8-bit）；2. プルーニング（通常、正規、およびグループ畳み込みチャネルプルーニング）；3. グループ

設定駆動型で使いやすいrestic用のバックアップCLI。

大規模言語モデル（LLM）に関する実践コース

OpenMMLab モデル圧縮ツールボックスおよびベンチマークです。

PaddleSlim は、ディープモデルの圧縮とアーキテクチャ探索のためのオープンソースライブラリです。

量子化やプルーニングを含む、KerasおよびTensorFlow向けのMLモデルデプロイ最適化ツールキット

Huawei Noah's Ark Labが開発した効率的な計算手法。

OpenVINO™ の推論を最適化するためのニューラルネットワーク圧縮フレームワーク

[NeurIPS 2023] LLM-Pruner: 大規模言語モデルの構造的プルーニング。Llama-3/3.1、Llama-2、LLaMA、BLOOM、Vicuna、Baichuan、TinyLlamaなどをサポート。

TinyNeuralNetwork は、効率的で使いやすいディープラーニングモデル圧縮フレームワークです。

[EMNLP 2024 & AAAI 2026] LLM、VLM、動画生成モデルなどの大規模モデルを圧縮するための強力なツールキット

[ICLR 2024] Sheared LLaMA: 構造化プルーニングによる言語モデル事前学習の高速化

機械学習モデルの圧縮、量子化、ツール、学習資料に関する厳選された研究論文