quantization

Inferencia INT4/INT5/INT8 y FP16 en CPU para el modelo de lenguaje RWKV

Un conjunto de herramientas para optimizar modelos de ML para su despliegue en Keras y TensorFlow, incluyendo cuantización y poda.

Brevitas: cuantización de redes neuronales en PyTorch

Calcula tokens/s y los requisitos de memoria GPU para cualquier LLM. Soporta cuantización llama.cpp/ggml/bnb/QLoRA.

Construya modelos de visión artificial en una fracción del tiempo y con menos datos.

Métodos de computación eficiente desarrollados por Huawei Noah's Ark Lab

Kit de herramientas de cuantización (compresión) de modelos LLM con soporte de aceleración por hardware para GPU Nvidia, AMD, Intel y CPU Intel/AMD/Apple a través de HF, vLLM y SGLang.

Marco de compresión de redes neuronales para una inferencia mejorada con OpenVINO™.

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Kernel de inferencia LLM FP16xINT4 que logra aceleraciones casi ideales de ~4x en tamaños de lote medianos de 16-32 tokens.

Z80-μLM es un modelo de lenguaje cuantizado a 2 bits lo suficientemente pequeño como para ejecutarse en un procesador Z80 de 8 bits. Entrena modelos conversacionales en Python, expórtalos como binarios .COM de CP/M y chatea con tu computadora antigua.

Un backend de cuantización de PyTorch para optimum.

Compilador de flujo de datos para inferencia QNN en FPGAs.

[ICML2025] SpargeAttention: una atención dispersa sin entrenamiento que acelera la inferencia de cualquier modelo.

Una herramienta para convertir archivos ONNX a LiteRT/TFLite/TensorFlow, código nativo de PyTorch (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) y Dynamo ONNX. También admite la conversión directa de LiteRT a PyTorch.

TinyChatEngine: Biblioteca de inferencia de LLM en el dispositivo.

Implementación oficial de Half-Quadratic Quantization (HQQ)

[NeurIPS 2020] MCUNet: Aprendizaje profundo diminuto en dispositivos IoT; [NeurIPS 2021] MCUNetV2: Inferencia basada en parches eficiente en memoria para aprendizaje profundo diminuto; [NeurIPS 2022] MCUNetV3: Entrenamiento en dispositivo con menos de 256 KB de memoria.

Biblioteca de cuantización de paletas que impulsa a pngquant y otros optimizadores de PNG.

[ICLR2024 spotlight] OmniQuant es una técnica de cuantización simple y potente para LLM.

Lista de artículos relacionados con la cuantización de redes neuronales en conferencias y revistas de IA recientes.

[EMNLP 2024 & AAAI 2026] Un potente kit de herramientas para comprimir modelos grandes, incluyendo LLMs, VLMs y modelos generativos de video.

[ICML 2024] SqueezeLLM: Cuantización densa y dispersa

El Hailo Model Zoo incluye modelos preentrenados y un entorno completo de construcción y evaluación

Repositorio oficial de SINQ: un método de cuantización novedoso, rápido y de alta calidad diseñado para reducir el tamaño de cualquier modelo de lenguaje grande preservando la precisión [ICML 2026]

Motor de inferencia LLM nativo de RDNA en Rust.

Búsqueda semántica offline de texto a imagen e imagen a imagen en Android, impulsada por el modelo CLIP de visión-lenguaje cuantizado y el motor de inferencia ONNX Runtime

QKeras: una biblioteca de aprendizaje profundo con cuantización para Tensorflow Keras.

Herramienta para convertir onnx a keras o onnx a tflite. Espero que esta herramienta te sea de utilidad.

De profesor a tiles: un motor de destilación y servicio de LLM creado desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo paged-KV, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.