mit-han-lab

[ICLR 2024] Modelos de linguagem de streaming eficientes com Attention Sinks.

[Prêmio de Melhor Artigo MLSys 2024] AWQ: Quantização de Peso com Consciência de Ativação para Compressão e Aceleração de LLM

Modelos fundamentais de visão eficientes para geração e percepção de alta resolução.

[ICCV 2019] TSM: Módulo de Deslocamento Temporal para compreensão eficiente de vídeo.

[ICML 2023] SmoothQuant: Quantização pós-treinamento precisa e eficiente para Large Language Models

Uma estrutura baseada em PyTorch para simulação quântica clássica, aprendizado de máquina quântico, redes neurais quânticas e circuitos quânticos parametrizados, com suporte para implantação fácil em computadores quânticos reais.

[MICRO'23, MLSys'22] TorchSparse: Framework eficiente de treinamento e inferência para convolução esparsa em GPUs.

[ICLR 2019] ProxylessNAS: Busca direta de arquitetura neural em tarefas e hardware de destino

[NeurIPS 2020] Aumento diferenciável para treinamento de GAN com eficiência de dados

[CVPR 2020] Compressão de GAN: Arquiteturas eficientes para GANs condicionais interativas

StreamingVLM: Compreensão em tempo real para fluxos de vídeo infinitos

TinyChatEngine: Biblioteca de inferência de LLM em dispositivos

[NeurIPS 2020] MCUNet: Tiny Deep Learning on IoT Devices; [NeurIPS 2021] MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning; [NeurIPS 2022] MCUNetV3: On-Device Training Under 256KB Memory

[MLSys'25] QServe: Quantização W4A8KV4 e Co-design de Sistema para Servir LLMs de Forma Eficiente; [MLSys'25] LServe: Servir LLMs de Sequência Longa de Forma Eficiente com Atenção Esparsa Unificada

[CVPR 2024 Highlight] DistriFusion: Inferência Paralela Distribuída para Modelos de Difusão de Alta Resolução

[IJCV] FastComposer: Geração de imagens de múltiplos sujeitos sem ajuste fino com atenção localizada

[NeurIPS 2020] MCUNet: Deep Learning compacto em dispositivos IoT; [NeurIPS 2021] MCUNetV2: Inferência baseada em patches com eficiência de memória para Deep Learning compacto

HART: Geração Visual Eficiente com Hybrid Autoregressive Transformer

[NeurIPS 2025] Radial Attention: Atenção esparsa O(nlogn) com decaimento de energia para geração de vídeos longos

Um kernel de atenção esparsa que suporta padrões esparsos mistos

[ICLR 2025] DuoAttention: Inferência eficiente de LLM de contexto longo com Retrieval e Streaming Heads

Treinamento no dispositivo com menos de 256 KB de memória [NeurIPS'22]