knowledge-distillation

Kaltabschied in warme Fähigkeiten verwandeln? Es bietet eine Wiedergeburtsepoche. Willkommen bei Digital Life 1.0. 🫶

Destillation von Büchern, langen Videos, Podcasts und anderen hochwertigen Inhalten in ausführbare Agent Skills

Eine Schatzkiste für visuelle Klassifizierung und Erkennung, angetrieben von PaddlePaddle.

Awesome Knowledge Distillation

Vortrainiertes Sprachmodell und zugehörige Optimierungstechniken, entwickelt vom Huawei Noah's Ark Lab.

Sammlung von fantastischen Vision-Language-Modellen für visuelle Aufgaben.

KI-gestützter Wissensgraphen-Generator

SOTA Low-Bit-LLM-Quantisierung (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) und Sparsity; führende Modellkompressionstechniken für PyTorch, TensorFlow und ONNX Runtime

EasyNLP: Ein umfassendes und benutzerfreundliches NLP-Toolkit

Eine kuratierte Liste für effiziente Large Language Models

Dies ist eine Sammlung unserer Arbeiten zu NAS und Vision Transformer.

OpenMMLab Model Compression Toolbox and Benchmark.

Ein auf PyTorch basierendes, codierungsfreies Framework für reproduzierbare Deep-Learning-Studien. PyTorch Ecosystem. 🏆 Bisher wurden 26 Knowledge-Distillation-Methoden implementiert, die auf TPAMI, CVPR, ICLR, ECCV, NeurIPS, ICCV, AAAI etc. vorgestellt wurden. 🎁 Trainierte Modelle, Trainingsprotokolle und Konfigurationen stehen zur Verfügung, um Reproduzierbarkeit und Benchmarks sicherzustellen.

Effiziente Rechenmethoden, entwickelt vom Huawei Noah's Ark Lab

Dieses Repository sammelt Arbeiten für „A Survey on Knowledge Distillation of Large Language Models“. Wir unterteilen KD in Wissensbeschaffungs- und Distillationsalgorithmen und untersuchen die Fähigkeiten- und vertikale Distillation von LLMs.

Sammlung aktueller Methoden zur Komprimierung und Beschleunigung von (Deep-)Neuralen Netzen.

Ein erweiterbares (generelles) Continual-Learning-Framework basierend auf Pytorch – offizielle Codebasis für Dark Experience for General Continual Learning

Eine kuratierte Sammlung von Artikeln, technischen Berichten, Frameworks und Tools zur On-Policy-Distillation (OPD) von großen Sprachmodellen

[ICCV 2023] MI-GAN: Eine einfache Baseline für Image Inpainting auf Mobilgeräten

Vom Lehrer zu den Kacheln – eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: mit benutzerdefinierten Triton/CUDA-Kernels, FSDP-Destillation, Paged-KV Continuous Batching, spekulativem Decoding, einem Rust-Gateway, einem JAX-Oracle und Tools zur Interpretierbarkeit.

Eine kuratierte Sammlung von Papern und Ressourcen zu On-Policy Distillation für Large Language Models.