quantization

Ajuste fino eficiente y unificado de más de 100 LLMs y VLMs (ACL 2024)

Transcripción de Whisper más rápida con CTranslate2

Modelos de lenguaje grande Chinese LLaMA y Alpaca + despliegue de entrenamiento local en CPU/GPU (Chinese LLaMA & Alpaca LLMs)

[🔥actualizando ...] Robot de trading cuantitativo automático con IA (implementación totalmente local). Plataforma de investigación de inversión cuantitativa impulsada por IA. 📃 documentación en línea: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant

Un índice vectorial construido sobre TurboQuant, escrito en Rust con enlaces para Python

Modelos de lenguaje grandes accesibles mediante cuantización de k-bits para PyTorch.

Un Kimi K3 de 2,78 billones de parámetros ejecutando inferencia en una sola CPU con 8,24 GB de RAM. C99 portátil: sin BLAS, sin framework, sin GPU.

Compresor PNG con pérdida: comando pngquant basado en la biblioteca libimagequant.

Motor de inferencia rápido para modelos Transformer

[ICLR2025 Spotlight] SVDQuant: Absorción de valores atípicos mediante componentes de bajo rango para modelos de difusión de 4 bits

Librería compatible con Transformers para aplicar varios algoritmos de compresión a LLMs para un despliegue optimizado con vLLM

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention logra una aceleración de 2 a 5 veces en comparación con FlashAttention, sin perder métricas de extremo a extremo en modelos de lenguaje, imagen y video.

🚀 Acelera la inferencia y el entrenamiento de 🤗 Transformers, Diffusers, TIMM y Sentence Transformers con herramientas de optimización de hardware fáciles de usar

Modelo de lenguaje preentrenado y sus técnicas de optimización relacionadas desarrollado por Huawei Noah's Ark Lab.

Cuantización nativa de PyTorch para entrenamiento e inferencia

Plugin de ComfyUI para Nunchaku

Tu hoja de trucos para la entrevista de ingeniería de IA: preguntas y respuestas.

Cuantización de LLM de pocos bits SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) y dispersión; técnicas líderes de compresión de modelos en PyTorch, TensorFlow y ONNX Runtime.

AIMET es una librería que proporciona técnicas avanzadas de cuantización y compresión para modelos de redes neuronales entrenados.

Construye, personaliza y controla tus propios LLM. Desde el preprocesamiento de datos hasta el ajuste fino (fine-tuning), xTuring proporciona una forma sencilla de personalizar LLM de código abierto. Únete a nuestra comunidad de Discord: https://discord.gg/TgHXuSJEk6

Una lista de artículos, documentación y código sobre cuantización de modelos. Este repositorio busca proveer información para la investigación en cuantización y mejoramos continuamente. ¡Bienvenidas las contribuciones de trabajos faltantes!

Domina la IA aplicada, un concepto a la vez

Ejecuta modelos Mixtral-8x7B en Colab o en ordenadores de escritorio de consumo

micronet, una biblioteca de compresión y despliegue de modelos. compresión: 1. cuantificación: entrenamiento consciente de la cuantificación (QAT), de bits altos (>2b) (DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference), de bits bajos (≤2b)/ternaria y binaria (TWN/BNN/XNOR-Net); cuantificación posterior al entrenamiento (PTQ), de 8 bits (tensorrt); 2. poda: poda de canales convolucionales normal, regular y por grupos; 3. gru

Ejecuta un LLM de 1 mil millones de parámetros en una placa de 10 dólares con 256 MB de RAM

PPL Quantization Tool (PPQ) es una potente herramienta de cuantización de redes neuronales offline

Caja de herramientas y benchmark de compresión de modelos de OpenMMLab.

PaddleSlim es una biblioteca de código abierto para la compresión de modelos profundos y la búsqueda de arquitectura.

Un algoritmo de cuantización SOTA para inferencia de LLM de bajo bit y alta precisión, optimizado para CPU/XPU/CUDA, con soporte para múltiples tipos de datos y compatibilidad total con vLLM, SGLang y Transformers.

Inferencia INT4/INT5/INT8 y FP16 en CPU para el modelo de lenguaje RWKV