mit-han-lab

[ICLR 2024] Modèles de langage en streaming efficaces avec Attention Sinks

[Prix du meilleur article MLSys 2024] AWQ : Quantification des poids basée sur l'activation pour la compression et l'accélération des LLM.

Modèles de vision fondamentaux efficaces pour la génération et la perception haute résolution.

[ICCV 2019] TSM : Module de décalage temporel pour une compréhension vidéo efficace

[ICML 2023] SmoothQuant : Quantification post-entraînement précise et efficace pour les grands modèles de langage

Framework basé sur PyTorch pour la simulation quantique classique, l'apprentissage automatique quantique, les réseaux de neurones quantiques et les circuits quantiques paramétrés, avec prise en charge du déploiement sur de véritables ordinateurs quantiques.

[MICRO'23, MLSys'22] TorchSparse : Framework d'entraînement et d'inférence efficace pour la convolution creuse sur GPU

[ICLR 2019] ProxylessNAS : Recherche directe d'architecture neuronale sur une tâche et un matériel cibles

[NeurIPS 2020] Augmentation différentiable pour l'entraînement efficace des GAN

[CVPR 2020] Compression de GAN : architectures efficaces pour les GAN conditionnels interactifs

StreamingVLM : Compréhension en temps réel pour les flux vidéo infinis

TinyChatEngine : bibliothèque d'inférence LLM sur appareil.

[NeurIPS 2020] MCUNet : apprentissage profond miniature pour appareils IoT ; [NeurIPS 2021] MCUNetV2 : inférence par patchs économe en mémoire pour l'apprentissage profond miniature ; [NeurIPS 2022] MCUNetV3 : entraînement sur appareil avec moins de 256 Ko de mémoire.

[MLSys'25] QServe : Quantification W4A8KV4 et co-conception système pour un service LLM efficace ; [MLSys'25] LServe : Service efficace de LLM à longue séquence avec attention creuse unifiée.

[CVPR 2024 Highlight] DistriFusion : Inférence parallèle distribuée pour les modèles de diffusion haute résolution

[IJCV] FastComposer : Génération d'images multi-sujets sans réglage avec attention localisée

[NeurIPS 2020] MCUNet : Apprentissage profond minuscule sur les appareils IoT ; [NeurIPS 2021] MCUNetV2 : Inférence par patchs économe en mémoire pour l'apprentissage profond minuscule

HART : Génération visuelle efficace avec Hybrid Autoregressive Transformer

[NeurIPS 2025] Radial Attention : attention creuse en O(nlogn) avec décroissance d'énergie pour la génération de vidéos longues

Un noyau d'attention creuse (sparse attention) prenant en charge des modèles creux mixtes

[ICLR 2025] DuoAttention : Inférence efficace pour LLM à long contexte avec têtes de récupération et de streaming.

Entraînement sur appareil avec moins de 256 Ko de mémoire [NeurIPS'22]