knowledge-distillation

Distilly — Đúc kết cách họ suy nghĩ thành các Skill có thể tái sử dụng cho bất kỳ Agent hoặc Bot nào. Trước đây là Colleague Skill.

Chưng cất sách, video dài, podcast và các nội dung giá trị cao khác thành Agent Skills có thể thực thi

Kho báu cho việc phân loại và nhận diện trực quan được hỗ trợ bởi PaddlePaddle

Awesome Knowledge Distillation

Mô hình ngôn ngữ được huấn luyện trước và các kỹ thuật tối ưu hóa liên quan do Phòng thí nghiệm Noah's Ark của Huawei phát triển.

Bộ sưu tập các mô hình thị giác-ngôn ngữ AWESOME cho các tác vụ thị giác

Trình tạo biểu đồ tri thức (Knowledge Graph) được hỗ trợ bởi AI

Lượng tử hóa LLM low-bit SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & độ thưa (sparsity); các kỹ thuật nén mô hình hàng đầu trên PyTorch, TensorFlow và ONNX Runtime

EasyNLP: Bộ công cụ NLP toàn diện và dễ sử dụng

Danh sách tổng hợp về các Large Language Models hiệu quả

Đây là bộ sưu tập các công trình về NAS và Vision Transformer của chúng tôi.

Bộ công cụ và benchmark nén mô hình OpenMMLab.

Một framework không cần lập trình được xây dựng trên PyTorch dành cho các nghiên cứu học sâu có thể tái tạo. Hệ sinh thái PyTorch. 🏆 Cho đến nay đã triển khai 26 phương pháp chưng cất kiến thức được trình bày tại TPAMI, CVPR, ICLR, ECCV, NeurIPS, ICCV, AAAI, v.v. 🎁 Các mô hình đã huấn luyện, nhật ký huấn luyện và cấu hình có sẵn để đảm bảo tính tái tạo và chuẩn mực.

Các phương pháp tính toán hiệu quả được phát triển bởi Huawei Noah's Ark Lab

Kho lưu trữ này tổng hợp các bài báo nghiên cứu cho "A Survey on Knowledge Distillation of Large Language Models". Chúng tôi chia KD thành Thuật toán Khai thác và Chưng cất Kiến thức, đồng thời khám phá việc Chưng cất Kỹ năng & Theo ngành dọc của các LLM.

Bộ sưu tập các phương pháp gần đây về nén và tăng tốc mạng neural (sâu).

Khung học liên tục (tổng quát) có thể mở rộng dựa trên Pytorch - mã nguồn chính thức của Dark Experience cho General Continual Learning.

Bộ sưu tập các bài báo, báo cáo kỹ thuật, khung làm việc và công cụ được tuyển chọn cho việc chưng cất theo chính sách (OPD) của các mô hình ngôn ngữ lớn

[ICCV 2023] MI-GAN: Một cơ sở đơn giản cho việc phục hồi hình ảnh (image inpainting) trên thiết bị di động.

Từ mô hình giáo viên đến mô hình tối ưu — engine chưng cất & phục vụ LLM từ đầu: các kernel Triton/CUDA tùy chỉnh, chưng cất FSDP, phân trang KV batching liên tục, giải mã suy đoán, gateway Rust, oracle JAX và công cụ diễn giải.

Bộ sưu tập các bài báo và tài nguyên được tuyển chọn về On-Policy Distillation cho các mô hình ngôn ngữ lớn.