quantization

Inférence INT4/INT5/INT8 et FP16 sur CPU pour le modèle de langage RWKV.

Boîte à outils pour optimiser les modèles ML pour le déploiement avec Keras et TensorFlow, incluant la quantification et l'élagage.

Brevitas : quantification de réseaux de neurones sous PyTorch

Calcul du nombre de jetons par seconde et des besoins en mémoire GPU pour tout LLM. Prend en charge la quantification llama.cpp/ggml/bnb/QLoRA.

Construisez des modèles de vision par ordinateur en une fraction du temps et avec moins de données.

Méthodes de calcul efficaces développées par le Huawei Noah's Ark Lab

Boîte à outils de quantification (compression) de modèles LLM avec accélération matérielle pour GPU Nvidia, AMD, Intel et CPU Intel/AMD/Apple via HF, vLLM et SGLang.

Framework de compression de réseaux de neurones pour une inférence OpenVINO™ optimisée.

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Noyau d'inférence LLM FP16xINT4 capable d'atteindre des accélérations quasi idéales d'environ 4x pour des tailles de lots moyennes de 16 à 32 jetons.

Z80-μLM est un modèle de langage quantifié sur 2 bits suffisamment petit pour fonctionner sur un processeur Z80 8 bits. Entraînez des modèles conversationnels en Python, exportez-les en binaires .COM CP/M et discutez avec votre ordinateur vintage.

Un backend de quantification PyTorch pour optimum.

Compilateur de flux de données pour l'inférence QNN sur FPGA

[ICML2025] SpargeAttention : Une attention creuse sans entraînement qui accélère l'inférence de tout modèle.

Outil de conversion de fichiers ONNX vers LiteRT/TFLite/TensorFlow, code natif PyTorch (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) et Dynamo ONNX. Supporte également la conversion directe de LiteRT vers PyTorch.

TinyChatEngine : bibliothèque d'inférence LLM sur appareil.

Implémentation officielle de la quantification quadratique partielle (HQQ).

[NeurIPS 2020] MCUNet : apprentissage profond miniature pour appareils IoT ; [NeurIPS 2021] MCUNetV2 : inférence par patchs économe en mémoire pour l'apprentissage profond miniature ; [NeurIPS 2022] MCUNetV3 : entraînement sur appareil avec moins de 256 Ko de mémoire.

Bibliothèque de quantification de palette qui alimente pngquant et d'autres optimiseurs PNG

[ICLR2024 spotlight] OmniQuant est une technique de quantification simple et puissante pour les LLM.

Liste d'articles liés à la quantification des réseaux de neurones dans les conférences et journaux d'IA récents.

[EMNLP 2024 & AAAI 2026] Une boîte à outils puissante pour la compression de grands modèles, incluant les LLM, les VLM et les modèles génératifs vidéo.

[ICML 2024] SqueezeLLM : Quantification dense et éparse

Le Hailo Model Zoo comprend des modèles pré-entraînés ainsi qu'un environnement complet de construction et d'évaluation

Bienvenue sur le dépôt officiel de SINQ ! Une méthode de quantification novatrice, rapide et de haute qualité conçue pour réduire la taille de n'importe quel Grand Modèle de Langage (LLM) tout en préservant sa précision [ICML 2026]

Moteur d'inférence LLM natif RDNA en Rust.

Recherche sémantique hors ligne texte-image et image-image sur Android, optimisée par un modèle pré-entraîné vision-langage CLIP quantifié de pointe et le moteur d'inférence ONNX Runtime

QKeras : une bibliothèque de deep learning par quantification pour Tensorflow Keras

Outil pour onnx->keras ou onnx->tflite. En espérant qu'il vous sera utile.

From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.