pruning

Tutorial de aprendizaje profundo de Li Hongyi (recomendado por el profesor Li Hongyi 👍, libro de Apple 🍎), dirección de descarga del PDF: https://github.com/datawhalechina/leedl-tutorial/releases

[CVPR 2023] DepGraph: Hacia cualquier poda estructural; LLMs, modelos de cimentación de visión, etc.

Cuantización de LLM de pocos bits SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) y dispersión; técnicas líderes de compresión de modelos en PyTorch, TensorFlow y ONNX Runtime.

AIMET es una librería que proporciona técnicas avanzadas de cuantización y compresión para modelos de redes neuronales entrenados.

Una lista seleccionada de recursos de poda de redes neuronales.

micronet, una biblioteca de compresión y despliegue de modelos. compresión: 1. cuantificación: entrenamiento consciente de la cuantificación (QAT), de bits altos (>2b) (DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference), de bits bajos (≤2b)/ternaria y binaria (TWN/BNN/XNOR-Net); cuantificación posterior al entrenamiento (PTQ), de 8 bits (tensorrt); 2. poda: poda de canales convolucionales normal, regular y por grupos; 3. gru

CLI de copia de seguridad fácil y basada en configuración para restic.

Curso práctico sobre Large Language Models.

Caja de herramientas y benchmark de compresión de modelos de OpenMMLab.

PaddleSlim es una biblioteca de código abierto para la compresión de modelos profundos y la búsqueda de arquitectura.

Un conjunto de herramientas para optimizar modelos de ML para su despliegue en Keras y TensorFlow, incluyendo cuantización y poda.

Métodos de computación eficiente desarrollados por Huawei Noah's Ark Lab

Marco de compresión de redes neuronales para una inferencia mejorada con OpenVINO™.

[NeurIPS 2023] LLM-Pruner: Sobre la poda estructural de modelos de lenguaje de gran tamaño. Soporta Llama-3/3.1, Llama-2, LLaMA, BLOOM, Vicuna, Baichuan, TinyLlama, entre otros.

TinyNeuralNetwork es un framework de compresión de modelos de aprendizaje profundo eficiente y fácil de usar.

[EMNLP 2024 & AAAI 2026] Un potente kit de herramientas para comprimir modelos grandes, incluyendo LLMs, VLMs y modelos generativos de video.

[ICLR 2024] Sheared LLaMA: Aceleración del preentrenamiento de modelos de lenguaje mediante poda estructurada

Recopilación de artículos de investigación, cuantización, herramientas y material de aprendizaje sobre compresión de modelos de machine learning.