quantization

RWKV 言語モデルの CPU 上での INT4/INT5/INT8 および FP16 推論。

量子化やプルーニングを含む、KerasおよびTensorFlow向けのMLモデルデプロイ最適化ツールキット

Brevitas: PyTorch におけるニューラルネットワークの量子化

あらゆる LLM のトークン/秒および GPU メモリ要件を計算します。llama.cpp/ggml/bnb/QLoRA の量子化をサポート

わずかな時間と少ないデータでコンピュータービジョンモデルを構築します。

Huawei Noah's Ark Labが開発した効率的な計算手法。

HF、vLLM、SGLang を介して Nvidia、AMD、Intel GPU および Intel/AMD/Apple CPU のハードウェアアクセラレーションをサポートする LLM モデル量子化 (圧縮) ツールキット。

OpenVINO™ の推論を最適化するためのニューラルネットワーク圧縮フレームワーク

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

16〜32トークンのミディアムバッチサイズで、ほぼ理想的な約4倍の高速化を実現できるFP16xINT4 LLM推論カーネル。

Z80-μLMは、8ビットのZ80プロセッサで実行できるほど小型の2ビット量子化言語モデルです。Pythonで対話型モデルをトレーニングし、CP/M .COMバイナリとしてエクスポートして、ビンテージコンピューターとチャットできます。

optimum用のPyTorch量子化バックエンド。

FPGA上のQNN推論向けデータフローコンパイラ

[ICML2025] SpargeAttention: あらゆるモデルの推論を加速する、トレーニング不要のスパースアテンション

ONNXファイルをLiteRT/TFLite/TensorFlow、PyTorchネイティブコード(nn.Module)、TorchScript(.pt)、state_dict(.pt)、Exported Program(.pt2)、Dynamo ONNXに変換するツール。LiteRTからPyTorchへの直接変換もサポート

TinyChatEngine: デバイス上LLM推論ライブラリ

Half-Quadratic Quantization (HQQ) の公式実装

[NeurIPS 2020] MCUNet: IoT デバイス上の Tiny Deep Learning; [NeurIPS 2021] MCUNetV2: Tiny Deep Learning 向けのメモリ効率の高いパッチベース推論; [NeurIPS 2022] MCUNetV3: 256KB 未満のメモリでのオンデバイス学習

pngquant などの PNG 最適化ツールを支えるパレット量子化ライブラリ

[ICLR2024 spotlight] OmniQuant は LLM 向けのシンプルかつ強力な量子化手法です。

近年のAI関連の学会やジャーナルにおけるニューラルネットワークの量子化に関する論文リスト

[EMNLP 2024 & AAAI 2026] LLM、VLM、動画生成モデルなどの大規模モデルを圧縮するための強力なツールキット

[ICML 2024] SqueezeLLM: 密度・スパース量子化

事前トレーニング済みモデルと完全な構築・評価環境を含む Hailo Model Zoo

SINQの公式リポジトリへようこそ！精度を維持しながらあらゆる大規模言語モデルを軽量化するために設計された、新規で高速かつ高品質な量子化手法 [ICML 2026]

Rust 製の RDNA ネイティブ LLM 推論エンジン

量子化された最先端のビジョン言語事前学習済みCLIPモデルとONNX Runtime推論エンジンを搭載した、Android向けのオフラインセマンティックText-to-ImageおよびImage-to-Image検索

QKeras: Tensorflow Keras向けの量子化ディープラーニングライブラリ

onnx から keras または tflite へ変換するツール。お役に立てれば幸いです。

教師モデルからタイルまで — フルスクラッチのLLM蒸留・サービングエンジン：カスタムTriton/CUDAカーネル、FSDP蒸留、ページ化KV連続バッチ処理、推測デコーディング、Rustゲートウェイ、JAXオラクル、および解釈可能性ツール。