knowledge-distillation

Transformando despedidas frias em skills acolhedoras? É a era do renascimento. Bem-vindo ao Digital Life 1.0. 🫶

Destile livros, vídeos longos, podcasts e outros conteúdos de alto valor em Agent Skills executáveis

Um tesouro para classificação e reconhecimento visual impulsionado pelo PaddlePaddle

Awesome Knowledge Distillation

Modelo de linguagem pré-treinado e suas técnicas de otimização relacionadas desenvolvidas pelo Huawei Noah's Ark Lab.

Coleção de modelos de visão e linguagem (vision-language models) para tarefas de visão computacional.

Gerador de grafo de conhecimento baseado em IA

Quantização SOTA de LLM de baixo bit (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) e esparsidade; técnicas líderes de compressão de modelos em PyTorch, TensorFlow e ONNX Runtime.

EasyNLP: Um kit de ferramentas de PNL abrangente e fácil de usar.

Uma lista curada de Large Language Models eficientes

Esta é uma coleção dos nossos trabalhos em NAS e Vision Transformer.

Caixa de ferramentas e benchmark de compressão de modelos OpenMMLab.

Um framework sem código construído sobre PyTorch para estudos de deep learning reprodutíveis. Ecossistema PyTorch. Até o momento, 26 métodos de destilação de conhecimento apresentados em conferências como TPAMI, CVPR, ICLR, ECCV, NeurIPS, ICCV e AAAI foram implementados. Modelos treinados, logs de treinamento e configurações estão disponíveis para garantir a reprodutibilidade e o benchmark.

Métodos de computação eficiente desenvolvidos pelo Huawei Noah's Ark Lab

Este repositório reúne artigos para um levantamento sobre destilação de conhecimento em Large Language Models. Dividimos a destilação de conhecimento em algoritmos de elicitação e destilação, e exploramos a destilação de habilidades e vertical de LLMs.

Coleção de métodos recentes sobre compressão e aceleração de redes neurais (profundas).

Um framework de Aprendizado Contínuo (Geral) Extensível baseado em PyTorch - base de código oficial de Dark Experience for General Continual Learning

Uma coleção curada de artigos, relatórios técnicos, frameworks e ferramentas para destilação on-policy (OPD) de grandes modelos de linguagem

[ICCV 2023] MI-GAN: Uma base simples para preenchimento de imagens em dispositivos móveis

From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.

A curated collection of papers and resources on On-Policy Distillation for Large Language Models.