quantization

統一高效微調 100 多種 LLM 與 VLM（ACL 2024）

使用 CTranslate2 的 Faster Whisper 轉錄

中文 LLaMA 與 Alpaca 大語言模型 + 本地 CPU/GPU 訓練部署

[🔥updating ...] AI 自動量化交易機器人（完全本地部署）AI 驅動的量化投資研究平台。📃 線上文件：https://ufund-me.github.io/Qbot ✨ :news: qbot-mini：https://github.com/Charmve/iQuant

基於 TurboQuant 的向量索引，使用 Rust 編寫並提供 Python 綁定

透過 k 位元量化在 PyTorch 中存取大型語言模型

Kimi K3 2.78 兆參數模型，單 CPU 推理 8.24 GB RAM，C99 可攜式：無 BLAS、無框架、無 GPU

有損 PNG 壓縮器 — 基於 libimagequant 庫的 pngquant 命令

Transformer 模型的快速推理引擎

[ICLR2025 Spotlight] SVDQuant：通過低秩組件吸收離群值，適用於4位元擴散模型

與 Transformers 兼容的庫，可對 LLM 應用各種壓縮演算法，以 vLLM 優化部署

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention 在速度上比 FlashAttention 提升 2-5 倍，且不損失語言、影像與影片模型的端到端指標

加速 🤗 Transformers、Diffusers、TIMM 与 Sentence Transformers 的推理与训练，提供易用的硬件优化工具

由華為 Noah's Ark Lab 開發的預訓練語言模型及其相關優化技術

AI 工程面試備忘錄 – 問題與解答。

PyTorch 原生量化，用于训练和推理

ComfyUI 的 Nunchaku 插件

領先的低位元大型語言模型（LLM）量化（INT8/FP8/MXFP8/INT4/MXFP4/NVFP4）與稀疏化技術；基於 PyTorch、TensorFlow 和 ONNX Runtime 的頂尖模型壓縮技術

AIMET 是一個為訓練好的類神經網路模型提供先進量化與壓縮技術的函式庫。

建立、個人化並控制您自己的 LLM。從資料前處理到微調，xTuring 提供了一種簡單的方法來個人化開源 LLM。加入我們的 discord 社群：https://discord.gg/TgHXuSJEk6

關於模型量化的論文、文件與程式碼清單。此儲存庫旨在提供模型量化研究的資訊，我們正持續改進該專案。歡迎透過 PR 補充本專庫遺漏的相關著作（論文、儲存庫）。

掌握應用 AI，一次掌握一個概念

在 Colab 或消費級桌機上執行 Mixtral-8x7B 模型

micronet 是一個模型壓縮與部署庫。壓縮：1、量化：量化感知訓練 (QAT)、高位元 (>2b)、低位元 (≤2b)/三元與二元；後訓練量化 (PTQ)、8 位元 (tensorrt)；2、剪枝：正常、規則與群組卷積通道剪枝；3、群組

在配備 256MB RAM、價值 10 美元的開發板上執行 10 億參數的 LLM

PPL 量化工具 (PPQ) 是一個強大的離線類神經網路量化工具。

OpenMMLab 模型壓縮工具箱與基準測試。

為提升易用性、完整性與效率而設計的模型壓縮工具包。

PaddleSlim 是一個用於深度模型壓縮與架構搜尋的開源函式庫。

用於高精度低位元 LLM 推論的 SOTA 量化演算法，針對 CPU/XPU/CUDA 進行無縫最佳化，支援多種資料型態，並與 vLLM、SGLang 和 Transformers 完全相容。