knowledge-distillation

Transformando despedidas frías en habilidades cálidas, ¡bienvenido a Digital Life 1.0! ¿Transformando despedidas frías en habilidades cálidas? Es la era del renacimiento. Bienvenido a Digital Life 1.0. 🫶

Destila contenido de alto valor, como libros, videos largos y podcasts, en habilidades de agentes ejecutables

Un cofre del tesoro para clasificación y reconocimiento visual impulsado por PaddlePaddle.

Awesome Knowledge Distillation

Modelo de lenguaje preentrenado y sus técnicas de optimización relacionadas desarrollado por Huawei Noah's Ark Lab.

Colección de increíbles modelos de lenguaje y visión para tareas de visión

Generador de Grafos de Conocimiento Potenciado por IA

Cuantización de LLM de pocos bits SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) y dispersión; técnicas líderes de compresión de modelos en PyTorch, TensorFlow y ONNX Runtime.

EasyNLP: Un kit de herramientas de PLN integral y fácil de usar

Una lista seleccionada de Modelos de Lenguaje Grandes Eficientes

Una colección de nuestros trabajos sobre NAS y Vision Transformer

Caja de herramientas y benchmark de compresión de modelos de OpenMMLab.

Un framework sin código basado en PyTorch para estudios de aprendizaje profundo reproducibles. Parte del ecosistema PyTorch. Incluye hasta la fecha 26 métodos de destilación de conocimiento presentados en TPAMI, CVPR, ICLR, ECCV, NeurIPS, ICCV, AAAI, etc. Se proporcionan modelos entrenados, registros de entrenamiento y configuraciones para garantizar la reproducibilidad y el benchmarking.

Métodos de computación eficiente desarrollados por Huawei Noah's Ark Lab

Este repositorio recopila artículos para "Una encuesta sobre la destilación de conocimiento de modelos de lenguaje grandes". Desglosamos la destilación de conocimiento en algoritmos de obtención y destilación de conocimiento, y exploramos la destilación de habilidades y vertical de los LLM.

Colección de métodos recientes sobre compresión y aceleración de redes neuronales (profundas)

Un framework de aprendizaje continuo (general) extensible basado en Pytorch - base de código oficial de Dark Experience for General Continual Learning

Una colección curada de artículos, informes técnicos, marcos de trabajo y herramientas para la destilación on-policy (OPD) de modelos de lenguaje de gran tamaño.

[ICCV 2023] MI-GAN: Una línea base simple para la restauración de imágenes en dispositivos móviles

De profesor a tiles: un motor de destilación y servicio de LLM creado desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo paged-KV, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.

Una colección curada de artículos y recursos sobre destilación on-policy para modelos de lenguaje grandes.