quantization

Ajuste fino eficiente e unificado de mais de 100 LLMs e VLMs (ACL 2024)

Transcrição Whisper mais rápida com CTranslate2

Modelos de linguagem LLaMA & Alpaca para chinês + treinamento e implantação local em CPU/GPU

[🔥atualizando ...] Robô de negociação quantitativa automática com IA (implantação totalmente local). Plataforma de pesquisa de investimento quantitativo baseada em IA. 📃 documentação online: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant

Um índice vetorial construído sobre TurboQuant, escrito em Rust com bindings para Python.

Modelos de linguagem grandes acessíveis via quantização de k-bit para PyTorch.

Um Kimi K3 de 2,78 trilhões de parâmetros executando inferência em uma única CPU com 8,24 GB de RAM. C99 portátil: sem BLAS, sem framework, sem GPU.

Compressor de PNG com perdas — comando pngquant baseado na biblioteca libimagequant

Motor de inferência rápida para modelos Transformer.

[ICLR2025 Spotlight] SVDQuant: Absorvendo outliers por componentes de baixo posto para modelos de difusão de 4 bits

Biblioteca compatível com Transformers para aplicar vários algoritmos de compressão a LLMs para implantação otimizada com vLLM

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] O Quantized Attention alcança uma aceleração de 2 a 5 vezes em comparação ao FlashAttention, sem perda de métricas de ponta a ponta em modelos de linguagem, imagem e vídeo.

🚀 Acelere a inferência e o treinamento de 🤗 Transformers, Diffusers, TIMM e Sentence Transformers com ferramentas de otimização de hardware fáceis de usar

Modelo de linguagem pré-treinado e suas técnicas de otimização relacionadas desenvolvidas pelo Huawei Noah's Ark Lab.

Quantização nativa em PyTorch para treinamento e inferência.

Plugin do Nunchaku para o ComfyUI

Seu guia de consulta rápida para entrevistas de Engenharia de IA – Perguntas e Respostas.

Quantização SOTA de LLM de baixo bit (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) e esparsidade; técnicas líderes de compressão de modelos em PyTorch, TensorFlow e ONNX Runtime.

AIMET é uma biblioteca que fornece técnicas avançadas de quantização e compressão para modelos de redes neurais treinados.

Construa, personalize e controle seus próprios LLMs. Do pré-processamento de dados ao fine-tuning, o xTuring oferece uma maneira fácil de personalizar LLMs de código aberto.

Uma lista de artigos, documentos e códigos sobre quantização de modelos. Este repositório visa fornecer informações para pesquisa em quantização de modelos e está em constante melhoria. Contribuições (PRs) de trabalhos ausentes são bem-vindas.

Dominando IA aplicada, um conceito de cada vez.

Execute modelos Mixtral-8x7B no Colab ou em desktops domésticos.

micronet, uma biblioteca de compressão e implantação de modelos. Compressão: 1. Quantização: QAT, High-Bit (>2b), Low-Bit (≤2b)/Ternary e Binary (TWN/BNN/XNOR-Net); PTQ, 8-bit (tensorrt); 2. Poda: normal, regular e poda de canal convolucional em grupo.

Execute um LLM de 1 bilhão de parâmetros em uma placa de 10 dólares com 256 MB de RAM

PPL Quantization Tool (PPQ) é uma poderosa ferramenta offline de quantização de redes neurais.

Caixa de ferramentas e benchmark de compressão de modelos OpenMMLab.

PaddleSlim é uma biblioteca de código aberto para compressão de modelos profundos e busca de arquitetura.

Um algoritmo de quantização SOTA para inferência de LLM de baixo bit e alta precisão, otimizado para CPU/XPU/CUDA, com suporte a múltiplos tipos de dados e compatibilidade total com vLLM, SGLang e Transformers.

Inferência INT4/INT5/INT8 e FP16 em CPU para o modelo de linguagem RWKV