mit-han-lab

[ICLR 2024] Mô hình ngôn ngữ trực tuyến hiệu quả với Attention Sinks

[Giải thưởng Bài báo xuất sắc nhất MLSys 2024] AWQ: Lượng tử hóa trọng số nhận biết kích hoạt để nén và tăng tốc LLM

Các mô hình nền tảng thị giác hiệu quả dành cho việc tạo và nhận diện độ phân giải cao

[ICCV 2019] TSM: Mô-đun dịch chuyển thời gian để hiểu video hiệu quả

[ICML 2023] SmoothQuant: Lượng tử hóa sau huấn luyện chính xác và hiệu quả cho các Mô hình Ngôn ngữ Lớn

Khung công tác dựa trên PyTorch dành cho Mô phỏng Cổ điển Lượng tử, Học máy Lượng tử, Mạng nơ-ron Lượng tử, Mạch lượng tử tham số hóa với hỗ trợ triển khai dễ dàng trên máy tính lượng tử thực tế.

[MICRO'23, MLSys'22] TorchSparse: Framework huấn luyện và suy luận hiệu quả cho phép tính chập thưa (Sparse Convolution) trên GPU.

[ICLR 2019] ProxylessNAS: Tìm kiếm kiến trúc nơ-ron trực tiếp trên tác vụ mục tiêu và phần cứng

[NeurIPS 2020] Tăng cường khả dụng vi phân cho việc huấn luyện GAN hiệu quả dữ liệu

[CVPR 2020] Nén GAN: Kiến trúc hiệu quả cho các Conditional GAN tương tác

StreamingVLM: Hiểu thời gian thực cho các luồng video vô hạn.

TinyChatEngine: Thư viện suy luận LLM trên thiết bị

[NeurIPS 2020] MCUNet: Deep Learning nhỏ gọn trên thiết bị IoT; [NeurIPS 2021] MCUNetV2: Suy luận dựa trên bản patch tiết kiệm bộ nhớ cho Deep Learning nhỏ gọn; [NeurIPS 2022] MCUNetV3: Huấn luyện trên thiết bị với bộ nhớ dưới 256KB

[MLSys'25] QServe: Lượng tử hóa W4A8KV4 và đồng thiết kế hệ thống để phục vụ LLM hiệu quả; [MLSys'25] LServe: Phục vụ LLM chuỗi dài hiệu quả với Unified Sparse Attention

[CVPR 2024 Highlight] DistriFusion: Suy luận song song phân tán cho các mô hình khuếch tán độ phân giải cao.

[IJCV] FastComposer: Tạo hình ảnh đa chủ thể không cần tinh chỉnh với cơ chế Localized Attention

[NeurIPS 2020] MCUNet: Deep Learning nhỏ gọn trên thiết bị IoT; [NeurIPS 2021] MCUNetV2: Suy luận dựa trên bản vá tiết kiệm bộ nhớ cho Deep Learning nhỏ gọn

HART: Tạo hình ảnh hiệu quả với Hybrid Autoregressive Transformer

[NeurIPS 2025] Radial Attention: Cơ chế chú ý thưa O(nlogn) với sự suy giảm năng lượng cho tạo video dài

Kernel sparse attention hỗ trợ các mẫu sparse hỗn hợp.

[ICLR 2025] DuoAttention: Suy luận LLM ngữ cảnh dài hiệu quả với các đầu truy xuất và streaming.

Huấn luyện trên thiết bị với bộ nhớ dưới 256KB [NeurIPS'22]