quantization

Inferência INT4/INT5/INT8 e FP16 em CPU para o modelo de linguagem RWKV

Um kit de ferramentas para otimizar modelos de ML para implantação em Keras e TensorFlow, incluindo quantização e poda.

Brevitas: quantização de redes neurais em PyTorch.

Calcule tokens/s e requisitos de memória GPU para qualquer LLM. Suporta quantização llama.cpp/ggml/bnb/QLoRA.

Construa modelos de visão computacional em uma fração do tempo e com menos dados.

Métodos de computação eficiente desenvolvidos pelo Huawei Noah's Ark Lab

Kit de ferramentas de quantização (compressão) de modelos LLM com suporte a aceleração de hardware para GPUs Nvidia, AMD, Intel e CPUs Intel/AMD/Apple via HF, vLLM e SGLang.

Framework de compressão de redes neurais para inferência aprimorada com OpenVINO™

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Kernel de inferência LLM FP16xINT4 capaz de atingir acelerações quase ideais de ~4x para tamanhos de lote médios de 16-32 tokens.

Z80-μLM é um modelo de linguagem quantizado de 2 bits pequeno o suficiente para rodar em um processador Z80 de 8 bits. Treine modelos conversacionais em Python, exporte-os como binários .COM para CP/M e converse com seu computador antigo.

Um backend de quantização PyTorch para o optimum

Compilador de fluxo de dados para inferência QNN em FPGAs

[ICML2025] SpargeAttention: Uma atenção esparsa livre de treinamento que acelera a inferência de qualquer modelo.

Uma ferramenta para converter arquivos ONNX para LiteRT/TFLite/TensorFlow, código nativo PyTorch (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) e Dynamo ONNX. Também suporta conversão direta de LiteRT para PyTorch.

TinyChatEngine: Biblioteca de inferência de LLM em dispositivos

Implementação oficial de Half-Quadratic Quantization (HQQ)

[NeurIPS 2020] MCUNet: Tiny Deep Learning on IoT Devices; [NeurIPS 2021] MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning; [NeurIPS 2022] MCUNetV3: On-Device Training Under 256KB Memory

Biblioteca de quantização de paleta que alimenta o pngquant e outros otimizadores de PNG

[Destaque ICLR2024] OmniQuant é uma técnica de quantização simples e poderosa para LLMs.

Lista de artigos relacionados à quantização de redes neurais em conferências e periódicos recentes de IA.

[EMNLP 2024 & AAAI 2026] Um poderoso kit de ferramentas para compressão de grandes modelos, incluindo LLMs, VLMs e modelos gerativos de vídeo.

[ICML 2024] SqueezeLLM: Quantização densa e esparsa

O Hailo Model Zoo inclui modelos pré-treinados e um ambiente completo de construção e avaliação.

Bem-vindo ao repositório oficial do SINQ! Um método de quantização inovador, rápido e de alta qualidade projetado para tornar qualquer Large Language Model menor, preservando a precisão [ICML 2026]

Motor de inferência de LLM nativo para RDNA escrito em Rust.

Pesquisa semântica off-line de Texto para Imagem e Imagem para Imagem no Android, impulsionada pelo modelo CLIP pré-treinado de visão e linguagem de última geração quantizado e pelo motor de inferência ONNX Runtime

QKeras: uma biblioteca de aprendizado profundo de quantização para Tensorflow Keras

Ferramenta para onnx->keras ou onnx->tflite. Esperamos que esta ferramenta possa ajudar você.

From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.