mit-han-lab

[ICLR 2024] Effiziente Streaming-Sprachmodelle mit Attention Sinks

[MLSys 2024 Best Paper Award] AWQ: Aktivierungsbewusste Gewichtsquantisierung für LLM-Kompression und -Beschleunigung

Effiziente Vision-Foundation-Modelle für hochauflösende Generierung und Wahrnehmung.

[ICCV 2019] TSM: Temporal Shift Module für effizientes Video-Understanding

[ICML 2023] SmoothQuant: Genaue und effiziente Post-Training-Quantisierung für Large Language Models

Ein PyTorch-basiertes Framework für Quanten-Klassische Simulation, Quanten-Maschinelles Lernen, Quanten-Neuronale Netze und parametrisierte Quantenschaltkreise mit Unterstützung für die einfache Bereitstellung auf echten Quantencomputern.

[MICRO'23, MLSys'22] TorchSparse: Effizientes Trainings- und Inferenz-Framework für sparsame Fokonvolutionen auf GPUs.

[ICLR 2019] ProxylessNAS: Direkte neuronale Architektursuche für Zielaufgaben und -hardware

[NeurIPS 2020] Differentiable Augmentation für das dateneffiziente GAN-Training

[CVPR 2020] GAN Compression: Effiziente Architekturen für interaktive konditionale GANs.

StreamingVLM: Echtzeit-Verständnis für unendliche Videostreams

TinyChatEngine: LLM-Inferenzbibliothek für Endgeräte

[NeurIPS 2020] MCUNet: Tiny Deep Learning auf IoT-Geräten; [NeurIPS 2021] MCUNetV2: Speicherffiziente, patch-basierte Inferenz für Tiny Deep Learning; [NeurIPS 2022] MCUNetV3: On-Device-Training unter 256 KB Speicher

[MLSys'25] QServe: W4A8KV4-Quantisierung und System-Codesign für effizientes LLM-Serving; [MLSys'25] LServe: Effizientes Long-Sequence-LLM-Serving mit einheitlicher Sparse-Attention

[CVPR 2024 Highlight] DistriFusion: Verteilte parallele Inferenz für hochauflösende Diffusion Models

[IJCV] FastComposer: Tuning-freie Multi-Subject-Bildgenerierung mit lokalisierter Attention

[NeurIPS 2020] MCUNet: Tiny Deep Learning auf IoT-Geräten; [NeurIPS 2021] MCUNetV2: Speichereffiziente, patchbasierte Inferenz für Tiny Deep Learning

HART: Effiziente visuelle Generierung mit Hybrid Autoregressive Transformer

[NeurIPS 2025] Radial Attention: O(nlogn) Sparse Attention mit Energy Decay für die Generierung langer Videos

Ein Sparse-Attention-Kernel mit Unterstützung für gemischte Sparse-Muster

[ICLR 2025] DuoAttention: Effiziente Long-Context LLM-Inferenz mit Retrieval- und Streaming-Heads.

On-Device-Training mit weniger als 256 KB Speicher [NeurIPS'22].