mit-han-lab

[ICLR 2024] Attention Sinks를 활용한 효율적인 스트리밍 언어 모델

[MLSys 2024 최우수 논문상] AWQ: LLM 압축 및 가속을 위한 활성화 인식 가중치 양자화

고해상도 생성 및 인식을 위한 효율적인 비전 파운데이션 모델

[ICCV 2019] 효율적인 비디오 이해를 위한 TSM: Temporal Shift Module

[ICML 2023] SmoothQuant: 대형 언어 모델을 위한 정확하고 효율적인 사후 학습 양자화

실제 양자 컴퓨터에 쉽게 배포할 수 있는 기능을 지원하는, 퀀텀 클래식 시뮬레이션, 양자 머신러닝, 양자 신경망, 매개변수화된 양자 회로를 위한 PyTorch 기반 프레임워크입니다.

[MICRO'23, MLSys'22] TorchSparse: GPU에서의 희소 합성곱을 위한 효율적인 학습 및 추론 프레임워크

[ICLR 2019] ProxylessNAS: 타겟 태스크 및 하드웨어를 위한 직접 신경망 아키텍처 검색

[NeurIPS 2020] 데이터 효율적인 GAN 학습을 위한 미분 가능 증강(Differentiable Augmentation)

[CVPR 2020] GAN 압축: 대화형 조건부 GAN을 위한 효율적인 아키텍처

StreamingVLM: 무한 비디오 스트림을 위한 실시간 이해

TinyChatEngine: 온디바이스 LLM 추론 라이브러리

[NeurIPS 2020] MCUNet: IoT 기기를 위한 소형 딥러닝; [NeurIPS 2021] MCUNetV2: 소형 딥러닝을 위한 메모리 효율적인 패치 기반 추론; [NeurIPS 2022] MCUNetV3: 256KB 메모리 하에서의 온디바이스 학습

[MLSys'25] QServe: 효율적인 LLM 서빙을 위한 W4A8KV4 양자화 및 시스템 공동 설계; [MLSys'25] LServe: 통합 희소 어텐션을 통한 효율적인 긴 시퀀스 LLM 서빙

[CVPR 2024 Highlight] DistriFusion: 고해상도 디퓨전 모델을 위한 분산 병렬 추론

[IJCV] FastComposer: 로컬 어텐션을 활용한 튜닝 프리 다중 피사체 이미지 생성

[NeurIPS 2020] MCUNet: IoT 기기를 위한 Tiny Deep Learning; [NeurIPS 2021] MCUNetV2: Tiny Deep Learning을 위한 메모리 효율적인 패치 기반 추론

HART: Hybrid Autoregressive Transformer를 이용한 효율적인 시각적 생성

[NeurIPS 2025] Radial Attention: 긴 영상 생성을 위한 에너지 감쇠 기반의 O(nlogn) 희소 어텐션

혼합 희소 패턴을 지원하는 희소 어텐션 커널

[ICLR 2025] DuoAttention: Retrieval 및 Streaming 헤드를 통한 효율적인 긴 문맥 LLM 추론

256KB 미만 메모리 환경에서의 온디바이스 학습 [NeurIPS'22]