mit-han-lab

[ICLR 2024] Modelos de lenguaje en streaming eficientes con Attention Sinks

[Premio al mejor artículo en MLSys 2024] AWQ: Cuantización de pesos basada en activaciones para compresión y aceleración de LLM

Modelos fundacionales de visión eficientes para generación y percepción de alta resolución.

[ICCV 2019] TSM: Módulo de cambio temporal para la comprensión eficiente de videos

[ICML 2023] SmoothQuant: Cuantización post-entrenamiento precisa y eficiente para modelos de lenguaje grandes.

Un framework basado en PyTorch para simulación cuántica clásica, aprendizaje automático cuántico, redes neuronales cuánticas y circuitos cuánticos parametrizados, con soporte para despliegue sencillo en computadoras cuánticas reales.

[MICRO'23, MLSys'22] TorchSparse: Framework eficiente de entrenamiento e inferencia para convolución dispersa en GPUs.

[ICLR 2019] ProxylessNAS: Búsqueda directa de arquitectura neuronal en tareas y hardware objetivo

[NeurIPS 2020] Aumento diferenciable para el entrenamiento eficiente de datos en GAN.

[CVPR 2020] Compresión de GAN: arquitecturas eficientes para GAN condicionales interactivas

StreamingVLM: Comprensión en tiempo real para flujos de video infinitos

TinyChatEngine: Biblioteca de inferencia de LLM en el dispositivo.

[NeurIPS 2020] MCUNet: Aprendizaje profundo diminuto en dispositivos IoT; [NeurIPS 2021] MCUNetV2: Inferencia basada en parches eficiente en memoria para aprendizaje profundo diminuto; [NeurIPS 2022] MCUNetV3: Entrenamiento en dispositivo con menos de 256 KB de memoria.

[MLSys'25] QServe: Cuantización W4A8KV4 y codiseño de sistemas para un servicio eficiente de LLM; [MLSys'25] LServe: Servicio eficiente de LLM de secuencia larga con atención dispersa unificada

[CVPR 2024 Highlight] DistriFusion: Inferencia paralela distribuida para modelos de difusión de alta resolución.

[IJCV] FastComposer: Generación de imágenes de múltiples sujetos sin ajuste fino con atención localizada.

[NeurIPS 2020] MCUNet: Aprendizaje profundo ligero en dispositivos IoT; [NeurIPS 2021] MCUNetV2: Inferencia basada en parches con uso eficiente de memoria para aprendizaje profundo ligero

HART: Generación visual eficiente con Hybrid Autoregressive Transformer

[NeurIPS 2025] Radial Attention: Atención dispersa O(nlogn) con decaimiento de energía para la generación de videos largos.

Un kernel de atención dispersa que admite patrones dispersos mixtos

[ICLR 2025] DuoAttention: Inferencia eficiente de LLM de contexto largo con recuperación y cabezales de streaming.

Entrenamiento en dispositivo con menos de 256 KB de memoria [NeurIPS'22]