knowledge-distillation

차가운 이별을 따뜻한 스킬로 바꾸어 보세요. 디지털 생명 1.0에 오신 것을 환영합니다!

책, 긴 동영상, 팟캐스트 등 고가치 콘텐츠를 실행 가능한 Agent Skills로 증류

PaddlePaddle 기반의 시각적 분류 및 인식을 위한 보물창고

멋진 지식 증류(Knowledge Distillation) 리소스 모음

화웨이 노아스 아크 랩(Huawei Noah's Ark Lab)에서 개발한 사전 학습된 언어 모델 및 관련 최적화 기법.

비전 작업을 위한 멋진 비전 언어 모델(VLM) 모음

AI 기반 지식 그래프 생성기

SOTA 저비트 LLM 양자화(INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) 및 희소성(sparsity); PyTorch, TensorFlow, ONNX Runtime을 지원하는 선도적인 모델 압축 기술

EasyNLP: 종합적이고 사용하기 쉬운 NLP 툴킷

효율적인 대규모 언어 모델을 위한 엄선된 목록

NAS 및 Vision Transformer 관련 연구 모음입니다.

OpenMMLab 모델 압축 툴박스 및 벤치마크

재현 가능한 딥러닝 연구를 위해 PyTorch로 구축된 코딩 없는 프레임워크. PyTorch 에코시스템. 🏆 TPAMI, CVPR, ICLR, ECCV, NeurIPS, ICCV, AAAI 등에 발표된 26개의 지식 증류(knowledge distillation) 메서드가 구현되어 있습니다. 🎁 재현성과 벤치마크를 보장하기 위해 학습된 모델, 학습 로그 및 설정이 제공됩니다.

화웨이 노아스 아크 연구소(Huawei Noah's Ark Lab)에서 개발한 고효율 연산 방법

이 저장소는 "대규모 언어 모델의 지식 증류에 관한 조사(A Survey on Knowledge Distillation of Large Language Models)" 관련 논문을 수집합니다. 지식 증류(KD)를 지식 도출 및 증류 알고리즘으로 세분화하고, LLM의 기술 및 버티컬 증류를 탐구합니다.

(딥) 신경망 압축 및 가속에 관한 최신 방법론 모음입니다.

Pytorch 기반의 확장 가능한 범용 지속 학습 프레임워크 - 범용 지속 학습을 위한 Dark Experience 공식 코드베이스

대형 언어 모델의 온폴리시 증류(OPD)를 위한 논문, 기술 보고서, 프레임워크 및 도구 모음

[ICCV 2023] MI-GAN: 모바일 기기에서의 이미지 인페인팅을 위한 간단한 베이스라인

교사 모델에서 타일 모델까지 — 처음부터 구현한 LLM 증류 및 서빙 엔진: 커스텀 Triton/CUDA 커널, FSDP 증류, 페이징된 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구를 포함합니다.

대규모 언어 모델(LLM)을 위한 On-Policy Distillation 관련 논문 및 리소스 모음