knowledge-distillation

Transformer les adieux froids en compétences chaleureuses, bienvenue dans la vie numérique 1.0 !

Distiller des contenus à haute valeur ajoutée comme des livres, des vidéos longues et des podcasts en compétences d'agent exécutables

Un coffre au trésor pour la classification et la reconnaissance visuelle propulsé par PaddlePaddle.

Awesome Knowledge Distillation

Modèle de langage pré-entraîné et ses techniques d'optimisation associées développés par le Huawei Noah's Ark Lab.

Collection de modèles vision-langage impressionnants pour les tâches de vision par ordinateur.

Générateur de graphes de connaissances alimenté par l'IA

Quantification LLM faible bit SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) et sparsité ; techniques de compression de modèles de pointe pour PyTorch, TensorFlow et ONNX Runtime.

EasyNLP : Une boîte à outils NLP complète et facile à utiliser

Une liste organisée de modèles de langage (LLM) efficaces.

Une collection de nos travaux sur le NAS et les Vision Transformers.

Boîte à outils et benchmark de compression de modèles OpenMMLab.

Un framework sans code basé sur PyTorch pour des études d'apprentissage profond reproductibles. Écosystème PyTorch. 🏆 26 méthodes de distillation de connaissances présentées à TPAMI, CVPR, ICLR, ECCV, NeurIPS, ICCV, AAAI, etc. sont implémentées jusqu'à présent. 🎁 Modèles entraînés, journaux d'entraînement et configurations disponibles pour assurer la reproductibilité et l'étalonnage.

Méthodes de calcul efficaces développées par le Huawei Noah's Ark Lab

Ce dépôt rassemble des articles pour « Une étude sur la distillation de connaissances des grands modèles de langage ». Nous décomposons la distillation en extraction de connaissances et algorithmes de distillation, et explorons la distillation de compétences et verticale des LLM.

Collection de méthodes récentes sur la compression et l'accélération des réseaux de neurones (profonds).

Un framework d'apprentissage continu (général) extensible basé sur PyTorch - base de code officielle de Dark Experience pour l'apprentissage continu général.

Collection organisée d'articles, de rapports techniques, de frameworks et d'outils pour la distillation on-policy (OPD) des grands modèles de langage

[ICCV 2023] MI-GAN : Une base de référence simple pour la retouche d'image sur appareils mobiles

From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.

Une collection organisée d'articles et de ressources sur la distillation en politique (On-Policy Distillation) pour les grands modèles de langage.