mit-han-lab

[ICLR 2024] アテンションシンクを用いた効率的なストリーミング言語モデル

[MLSys 2024 Best Paper Award] AWQ: LLM の圧縮と高速化のための活性化認識型重み量子化

高解像度の生成と認識に向けた効率的なビジョン基盤モデル。

[ICCV 2019] 効率的な動画理解のための TSM: Temporal Shift Module

[ICML 2023] SmoothQuant: 大規模言語モデル向けの正確で効率的な学習後量子化

量子古典シミュレーション、量子機械学習、量子ニューラルネットワーク、パラメーター化量子回路のための PyTorch ベースのフレームワーク。実際の量子コンピュータへの容易なデプロイをサポート。

[MICRO'23, MLSys'22] TorchSparse: GPU 上でのスパース畳み込みに向けた効率的な学習および推論フレームワーク

[ICLR 2019] ProxylessNAS: ターゲットタスクとハードウェアに対する直接的なニューラルアーキテクチャ探索

[NeurIPS 2020] データ効率の良い GAN トレーニングのための微分可能拡張

[CVPR 2020] GAN 圧縮: インタラクティブな条件付き GAN のための効率的なアーキテクチャ

StreamingVLM: 無限のビデオストリームに対するリアルタイム理解

TinyChatEngine: デバイス上LLM推論ライブラリ

[NeurIPS 2020] MCUNet: IoT デバイス上の Tiny Deep Learning; [NeurIPS 2021] MCUNetV2: Tiny Deep Learning 向けのメモリ効率の高いパッチベース推論; [NeurIPS 2022] MCUNetV3: 256KB 未満のメモリでのオンデバイス学習

[MLSys'25] QServe: 効率的な LLM サービングのための W4A8KV4 量子化とシステム共同設計; [MLSys'25] LServe: 統合スパースアテンションによる効率的な長文脈 LLM サービング

[CVPR 2024 Highlight] DistriFusion: 高解像度Diffusion Models向けの分散並列推論

[IJCV] FastComposer: ローカライズされたアテンションを用いた、チューニング不要のマルチ被写体画像生成

[NeurIPS 2020] MCUNet: IoT デバイス上の軽量ディープラーニング; [NeurIPS 2021] MCUNetV2: 軽量ディープラーニング向けメモリ効率の高いパッチベース推論

HART: ハイブリッド自己回帰トランスフォーマーによる効率的なビジュアル生成

[NeurIPS 2025] Radial Attention: 長尺動画生成のためのエネルギー減衰を伴う O(nlogn) スパースアテンション

混合スパースパターンをサポートするスパースアテンションカーネル

[ICLR 2025] DuoAttention: 検索およびストリーミングヘッドを用いた効率的なロングコンテキストLLM推論

256KB未満のメモリで行うデバイス上でのトレーニング [NeurIPS'22]