quantization

统一高效微调 100 多种 LLM 与 VLM（ACL 2024）

使用 CTranslate2 的 Faster Whisper 转录

中文 LLaMA 与 Alpaca 大语言模型 + 本地 CPU/GPU 训练部署

[🔥updating ...] AI 自动量化交易机器人（完全本地部署）AI 驱动的量化投资研究平台。📃 在线文档：https://ufund-me.github.io/Qbot ✨ :news: qbot-mini：https://github.com/Charmve/iQuant

基于 TurboQuant 的向量索引，使用 Rust 编写并提供 Python 绑定

通过 k 位量化在 PyTorch 中访问大型语言模型

Kimi K3 2.78 兆参数模型，单 CPU 推理 8.24 GB RAM，C99 可携式：无 BLAS、无框架、无 GPU

有损 PNG 压缩器 — 基于 libimagequant 库的 pngquant 命令

Transformer 模型的快速推理引擎

[ICLR2025 Spotlight] SVDQuant：通过低秩组件吸收离群值，适用于4位元扩散模型

与 Transformers 兼容的库，可对 LLM 应用各种压缩算法，以 vLLM 优化部署

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention 在速度上比 FlashAttention 提升 2-5 倍，且不损失语言、影像与影片模型的端到端指标

加速 🤗 Transformers、Diffusers、TIMM 与 Sentence Transformers 的推理与训练，提供易用的硬件优化工具

由华为 Noah's Ark Lab 开发的预训练语言模型及其相关优化技术

AI 工程面试备忘录 – 问题与解答。

PyTorch 原生量化，用于训练和推理

ComfyUI 的 Nunchaku 插件

领先的低比特大型语言模型（LLM）量化（INT8/FP8/MXFP8/INT4/MXFP4/NVFP4）与稀疏化技术；基于 PyTorch、TensorFlow 和 ONNX Runtime 的顶尖模型压缩技术

AIMET 是一个为训练好的神经网络模型提供先进量化与压缩技术的库。

构建、个性化并控制您自己的 LLM。从数据预处理到微调，xTuring 提供了一种简单的方法来个性化开源 LLM。加入我们的 discord 社区：https://discord.gg/TgHXuSJEk6

关于模型量化的论文、文档与代码清单。此仓库旨在提供模型量化研究的信息，我们正持续改进该项目。欢迎通过 PR 补充本仓库遗漏的相关著作（论文、仓库）。

掌握应用 AI，一次掌握一个概念

在 Colab 或消费级桌面上运行 Mixtral-8x7B 模型

micronet 是一个模型压缩与部署库。压缩：1、量化：量化感知训练 (QAT)、高比特 (>2b)、低比特 (≤2b)/三元与二元；后训练量化 (PTQ)、8 比特 (tensorrt)；2、剪枝：正常、规则与群组卷积通道剪枝；3、群组

在配备 256MB RAM、价值 10 美元的开发板上运行 10 亿参数的 LLM

PPL 量化工具 (PPQ) 是一个强大的离线神经网络量化工具。

OpenMMLab 模型压缩工具箱与基准测试。

为提升易用性、完整性与效率而设计的模型压缩工具包。

PaddleSlim 是一个用于深度模型压缩与架构搜索的开源库。

用于高精度低比特 LLM 推理的 SOTA 量化算法，针对 CPU/XPU/CUDA 进行无缝优化，支持多种数据类型，并与 vLLM、SGLang 和 Transformers 完全兼容。