quantization

Inferensi INT4/INT5/INT8 dan FP16 pada CPU untuk model bahasa RWKV

Toolkit untuk mengoptimalkan model ML untuk penerapan pada Keras dan TensorFlow, termasuk kuantisasi dan pruning.

Brevitas: kuantisasi jaringan saraf di PyTorch

Menghitung token/s & kebutuhan memori GPU untuk LLM apa pun. Mendukung kuantisasi llama.cpp/ggml/bnb/QLoRA

Bangun model computer vision dalam waktu yang jauh lebih singkat dan dengan lebih sedikit data.

Metode komputasi efisien yang dikembangkan oleh Huawei Noah's Ark Lab

Toolkit kuantisasi (kompresi) model LLM dengan dukungan akselerasi HW untuk GPU Nvidia, AMD, Intel, dan CPU Intel/AMD/Apple melalui HF, vLLM, dan SGLang.

Qwen3.8-27B pada satu RTX 3090 dengan vLLM: ~1.000 tok/s pada 64 konkuren (GEMM tensor-core int8, status fp16 DeltaNet), ~114 tok/s pengguna tunggal pada sampling default / ~124 greedy (draft MTP, vocab draft output sendiri, lm_head int4 terkalibrasi, verifikasi attention split-KV), konteks 150k-262k; patch, skrip requant, benchmark

Kerangka Kerja Kompresi Jaringan Syaraf untuk inferensi OpenVINO™ yang ditingkatkan

Kernel inferensi LLM FP16xINT4 yang dapat mencapai percepatan ~4x yang mendekati ideal hingga ukuran batch sedang 16-32 token.

Z80-μLM adalah model bahasa terkuantisasi 2-bit yang cukup kecil untuk dijalankan pada prosesor Z80 8-bit. Latih model percakapan dengan Python, ekspor sebagai biner .COM CP/M, dan mengobrollah dengan komputer klasik Anda.

Kompilator aliran data untuk inferensi QNN pada FPGA.

Backend kuantisasi pytorch untuk optimum

[ICML2025] SpargeAttention: Perhatian jarang tanpa pelatihan yang mempercepat inferensi model apa pun.

Alat untuk mengonversi file ONNX ke LiteRT/TFLite/TensorFlow, kode natif PyTorch (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2), dan Dynamo ONNX. Alat ini juga mendukung konversi langsung dari LiteRT ke PyTorch.

TinyChatEngine: Pustaka Inferensi LLM Pada Perangkat

Implementasi resmi dari Half-Quadratic Quantization (HQQ).

[NeurIPS 2020] MCUNet: Deep Learning Kecil pada Perangkat IoT; [NeurIPS 2021] MCUNetV2: Inferensi Berbasis Patch yang Efisien Memori untuk Deep Learning Kecil; [NeurIPS 2022] MCUNetV3: Pelatihan di Perangkat di Bawah Memori 256KB

Pustaka kuantisasi palet yang mendukung pngquant dan pengoptimal PNG lainnya

[ICLR2024 spotlight] OmniQuant adalah teknik kuantisasi yang sederhana dan kuat untuk LLM.

Daftar makalah terkait kuantisasi jaringan saraf dalam konferensi dan jurnal AI terbaru.

[EMNLP 2024 & AAAI 2026] Toolkit canggih untuk mengompresi model besar termasuk LLM, VLM, dan model generatif video.

[ICML 2024] SqueezeLLM: Kuantisasi Dense-and-Sparse

Hailo Model Zoo mencakup model pra-latihan serta lingkungan pembuatan dan evaluasi lengkap

Selamat datang di repositori resmi SINQ! Metode kuantisasi baru, cepat, dan berkualitas tinggi yang dirancang untuk membuat Large Language Model apa pun menjadi lebih kecil dengan tetap menjaga akurasi [ICML 2026]

Mesin inferensi LLM asli RDNA dalam Rust.

Pencarian Text-to-Image dan Image-to-Image semantik luring di Android, didukung oleh model CLIP vision-language terkuantisasi yang canggih dan mesin inferensi ONNX Runtime.

QKeras: pustaka deep learning kuantisasi untuk Tensorflow Keras

Alat untuk onnx->keras atau onnx->tflite. Semoga alat ini dapat membantu Anda.

Dari guru ke tile — mesin distilasi & penyajian LLM dari awal: kernel Triton/CUDA kustom, distilasi FSDP, batching kontinu paged-KV, dekoding spekulatif, gateway Rust, oracle JAX, dan alat interpretabilitas.