quantization

100以上のLLMおよびVLMの統一的効率的なファインチューニング (ACL 2024)

CTranslate2による高速なWhisper文字起こし

中国語LLaMA & Alpaca大規模言語モデル + ローカルCPU/GPUでの学習・デプロイ (Chinese LLaMA & Alpaca LLMs)

[🔥更新中...] AI自動定量取引ロボット (完全ローカルデプロイ) AI搭載の定量的投資リサーチプラットフォーム。 📃 オンラインドキュメント: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant

TurboQuantを基盤として構築された、Pythonバインディングを備えたRustによるベクトルインデックス

PyTorch向けにk-bit量子化によるアクセシブルな大規模言語モデル。

2.78兆パラメータのKimi K3を単一CPU上で8.24 GBのRAMで推論実行。ポータブルC99: BLAS、フレームワーク、GPUなし。

損失圧縮PNGコンプレッサー — libimagequantライブラリに基づくpngquantコマンド

Transformerモデル向けの高速推論エンジン

[ICLR2025 Spotlight] SVDQuant: 4ビット拡散モデルのための低ランク成分による外れ値吸収

vLLMでの最適化されたデプロイメントのために、様々な圧縮アルゴリズムをLLMに適用するためのTransformers互換ライブラリ。

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] 量子化アテンションにより、言語、画像、動画モデルのエンドツーエンドの指標を落とすことなく、FlashAttentionと比較して2〜5倍の高速化を実現

🚀 使いやすいハードウェア最適化ツールで 🤗 Transformers、Diffusers、TIMM、Sentence Transformersの推論とトレーニングを加速する

Huawei Noah's Ark Labが開発した事前学習済み言語モデルおよび関連する最適化技術。

トレーニングおよび推論のための PyTorch ネイティブ量子化

NunchakuのComfyUIプラグイン

AIエンジニアの面接対策チートシート – 質問と回答

SOTA 低ビット LLM 量子化 (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) とスパース性；PyTorch、TensorFlow、ONNX Runtime における主要なモデル圧縮技術

AIMET は、トレーニング済みのニューラルネットワークモデルに対して高度な量子化と圧縮のテクニックを提供するライブラリです。

独自の LLM の構築、パーソナライズ、制御。データの前処理からファインチューニングまで、xTuring はオープンソース LLM をパーソナライズする簡単な方法を提供します。Discord コミュニティに参加してください: https://discord.gg/TgHXuSJEk6

モデル量子化に関する論文、ドキュメント、コードのリスト。モデル量子化の研究に向けた情報提供を目的としており、継続的にプロジェクトを改善しています。見落としている作品（論文、リポジトリ）のPRを歓迎します。

応用 AI を一つずつマスターする

Google Colab や一般のデスクトップで Mixtral-8x7B モデルを実行する

モデルの圧縮およびデプロイライブラリ「micronet」。圧縮機能：1. 量子化（QAT、High-Bit、Low-Bit/Ternary and Binary、PTQ、8-bit）；2. プルーニング（通常、正規、およびグループ畳み込みチャネルプルーニング）；3. グループ

256MB RAM を搭載した 10 ドルのボード上で 10 億パラメータの LLM を実行する

PPL Quantization Tool (PPQ) は、強力なオフラインニューラルネットワーク量子化ツールです。

OpenMMLab モデル圧縮ツールボックスおよびベンチマークです。

PaddleSlim は、ディープモデルの圧縮とアーキテクチャ探索のためのオープンソースライブラリです。

高精度な低ビット LLM 推論のための SOTA 量子化アルゴリズム。CPU、XPU、CUDA にシームレスに最適化され、多様なデータ型をサポート。vLLM、SGLang、Transformers と完全に互換性があります。

RWKV 言語モデルの CPU 上での INT4/INT5/INT8 および FP16 推論。