quantization

Fine-tuning efficace et unifié de plus de 100 LLM et VLM (ACL 2024).

Transcription Faster Whisper optimisée avec CTranslate2

Modèles de langage chinois LLaMA & Alpaca avec entraînement et déploiement local sur CPU/GPU.

[🔥en cours de mise à jour...] Robot de trading quantitatif automatisé par IA (déploiement entièrement local). Plateforme de recherche en investissement quantitatif basée sur l'IA. 📃 documentation en ligne : https://ufund-me.github.io/Qbot ✨ :news: qbot-mini : https://github.com/Charmve/iQuant

Un index vectoriel basé sur TurboQuant, écrit en Rust avec des liaisons Python.

Grands modèles de langage accessibles via quantification k-bit pour PyTorch.

Kimi K3 avec 2,78 billions de paramètres exécutant l'inférence sur un seul CPU avec 8,24 Go de RAM. C99 portable : sans BLAS, sans framework, sans GPU.

Compresseur PNG avec perte — commande pngquant basée sur la bibliothèque libimagequant

Moteur d'inférence rapide pour les modèles Transformer

[ICLR2025 Spotlight] SVDQuant : absorption des valeurs aberrantes par des composants de bas rang pour les modèles de diffusion 4 bits.

Bibliothèque compatible avec Transformers pour appliquer divers algorithmes de compression aux LLM, optimisant ainsi leur déploiement avec vLLM.

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention permet une accélération de 2 à 5x par rapport à FlashAttention, sans perte de métriques de bout en bout pour les modèles de langage, d'image et de vidéo.

Accélérez l'inférence et l'entraînement de 🤗 Transformers, Diffusers, TIMM et Sentence Transformers avec des outils d'optimisation matérielle simples d'utilisation.

Modèle de langage pré-entraîné et ses techniques d'optimisation associées développés par le Huawei Noah's Ark Lab.

Quantification native PyTorch pour l'entraînement et l'inférence

Plugin ComfyUI pour Nunchaku.

Votre aide-mémoire pour les entretiens en ingénierie IA : questions et réponses.

Quantification LLM faible bit SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) et sparsité ; techniques de compression de modèles de pointe pour PyTorch, TensorFlow et ONNX Runtime.

AIMET est une bibliothèque fournissant des techniques avancées de quantification et de compression pour les modèles de réseaux de neurones entraînés.

Construisez, personnalisez et contrôlez vos propres LLM. Du prétraitement des données au fine-tuning, xTuring offre un moyen simple de personnaliser des LLM open source.

Une liste d'articles, de documents et de codes sur la quantification de modèles. Ce dépôt vise à fournir des informations pour la recherche sur la quantification de modèles et est continuellement amélioré. Les contributions (articles, dépôts) manquantes sont les bienvenues.

Maîtriser l'IA appliquée, un concept à la fois.

Exécutez des modèles Mixtral-8x7B sur Colab ou des ordinateurs grand public.

micronet, une bibliothèque de compression et de déploiement de modèles. Compression : 1. Quantification (QAT, High-Bit, Low-Bit/Ternary/Binary, PTQ 8-bit) ; 2. Élagage (normal, régulier, élagage de canaux de convolution de groupe) ; 3. Groupe.

Exécuter un LLM d'un milliard de paramètres sur une carte à 10 $ avec 256 Mo de RAM

PPL Quantization Tool (PPQ) est un puissant outil de quantification de réseaux de neurones hors ligne.

Boîte à outils et benchmark de compression de modèles OpenMMLab.

PaddleSlim est une bibliothèque open source pour la compression de modèles profonds et la recherche d'architecture.

Un algorithme de quantification SOTA pour l'inférence LLM basse précision haute précision, optimisé pour CPU/XPU/CUDA, avec support multi-type et compatibilité totale avec vLLM, SGLang et Transformers.

Inférence INT4/INT5/INT8 et FP16 sur CPU pour le modèle de langage RWKV.