model-compression

Các AI backbone hiệu quả bao gồm GhostNet, TNT và MLP, được phát triển bởi Phòng thí nghiệm Noah's Ark của Huawei.

Awesome Knowledge Distillation

[CVPR 2023] DepGraph: Hướng tới Cắt tỉa Cấu trúc Bất kỳ; LLMs, Vision Foundation Models, v.v.

Mô hình ngôn ngữ được huấn luyện trước và các kỹ thuật tối ưu hóa liên quan do Phòng thí nghiệm Noah's Ark của Huawei phát triển.

Danh sách tổng hợp các tài nguyên tỉa mạng neural.

Danh sách các bài báo, tài liệu, mã nguồn về lượng tử hóa mô hình. Kho lưu trữ này nhằm cung cấp thông tin cho nghiên cứu lượng tử hóa mô hình, chúng tôi đang liên tục cải thiện dự án. Chào đón các PR cho các công trình (bài báo, repository) bị thiếu.

micronet, thư viện nén và triển khai mô hình. nén: 1、lượng tử hóa: lượng tử hóa khi huấn luyện (QAT), High-Bit (>2b), Low-Bit (≤2b); lượng tử hóa sau huấn luyện (PTQ), 8-bit (tensorrt); 2、cắt tỉa: cắt tỉa kênh tích chập thông thường, đều và theo nhóm; 3、group

Bộ công cụ tối ưu hóa các mô hình ML để triển khai cho Keras và TensorFlow, bao gồm lượng tử hóa và tỉa nhánh.

Các phương pháp tính toán hiệu quả được phát triển bởi Huawei Noah's Ark Lab

Cắt tỉa kênh để tăng tốc các mạng neuron rất sâu (ICCV'17)

[CVPR 2024] DeepCache: Tăng tốc Diffusion Models miễn phí

Bộ sưu tập các phương pháp gần đây về nén và tăng tốc mạng neural (sâu).

TinyNeuralNetwork là một framework nén mô hình deep learning hiệu quả và dễ sử dụng.

Danh sách các bài báo liên quan đến lượng tử hóa mạng thần kinh tại các hội nghị và tạp chí AI gần đây.

[ICML 2024] SqueezeLLM: Lượng tử hóa dày đặc và thưa thớt (Dense-and-Sparse Quantization).

Tổng hợp các bài báo nghiên cứu, công cụ, kỹ thuật lượng tử hóa và tài liệu học tập về nén mô hình học máy.