pruning

Tutoriel d'apprentissage profond de Li Hongyi (recommandé par le professeur Li Hongyi, livre Apple), lien de téléchargement PDF : https://github.com/datawhalechina/leedl-tutorial/releases

[CVPR 2023] DepGraph : Vers un élagage structurel universel ; LLM, modèles de vision fondamentaux, etc.

Quantification LLM faible bit SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) et sparsité ; techniques de compression de modèles de pointe pour PyTorch, TensorFlow et ONNX Runtime.

AIMET est une bibliothèque fournissant des techniques avancées de quantification et de compression pour les modèles de réseaux de neurones entraînés.

Une liste organisée de ressources sur l'élagage des réseaux de neurones.

micronet, une bibliothèque de compression et de déploiement de modèles. Compression : 1. Quantification (QAT, High-Bit, Low-Bit/Ternary/Binary, PTQ 8-bit) ; 2. Élagage (normal, régulier, élagage de canaux de convolution de groupe) ; 3. Groupe.

Interface en ligne de commande pour restic, pilotée par configuration et simplifiant les sauvegardes.

Cours pratique sur les grands modèles de langage (LLM).

Boîte à outils et benchmark de compression de modèles OpenMMLab.

PaddleSlim est une bibliothèque open source pour la compression de modèles profonds et la recherche d'architecture.

Boîte à outils pour optimiser les modèles ML pour le déploiement avec Keras et TensorFlow, incluant la quantification et l'élagage.

Méthodes de calcul efficaces développées par le Huawei Noah's Ark Lab

Framework de compression de réseaux de neurones pour une inférence OpenVINO™ optimisée.

[NeurIPS 2023] LLM-Pruner : sur l'élagage structurel des grands modèles de langage. Supporte Llama-3/3.1, Llama-2, LLaMA, BLOOM, Vicuna, Baichuan, TinyLlama, etc.

TinyNeuralNetwork est un framework de compression de modèles d'apprentissage profond efficace et facile à utiliser.

[EMNLP 2024 & AAAI 2026] Une boîte à outils puissante pour la compression de grands modèles, incluant les LLM, les VLM et les modèles génératifs vidéo.

[ICLR 2024] Sheared LLaMA : accélération du pré-entraînement des modèles de langage par élagage structuré

Liste de ressources sur la compression de modèles de machine learning, incluant articles de recherche, quantification, outils et matériel pédagogique.