quantization

Fine-Tuning Efisien Terpadu untuk 100+ LLM & VLM (ACL 2024)

Transkripsi Faster Whisper dengan CTranslate2

Model bahasa besar LLaMA & Alpaca versi bahasa Mandarin + pelatihan dan deployment lokal menggunakan CPU/GPU.

[🔥memperbarui ...] Platform Riset Investasi Kuantitatif bertenaga AI (penerapan lokal sepenuhnya). 📃 dok online: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant

Indeks vektor yang dibangun di atas TurboQuant, ditulis dalam Rust dengan binding Python.

Model bahasa besar yang dapat diakses melalui kuantisasi k-bit untuk PyTorch.

Kimi K3 dengan 2,78 triliun parameter yang menjalankan inferensi pada satu CPU dalam RAM 8,24 GB. C99 portabel: tanpa BLAS, tanpa framework, tanpa GPU.

Kompresor PNG lossy — perintah pngquant berbasis pustaka libimagequant.

Mesin inferensi cepat untuk model Transformer.

[ICLR2025 Spotlight] SVDQuant: Menyerap Outlier melalui Komponen Peringkat Rendah untuk Model Difusi 4-Bit.

Perpustakaan yang kompatibel dengan Transformers untuk menerapkan berbagai algoritma kompresi pada LLM guna optimalisasi penerapan dengan vLLM

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention mencapai percepatan 2-5x dibandingkan dengan FlashAttention, tanpa kehilangan metrik end-to-end pada model bahasa, gambar, dan video.

🚀 Percepat inferensi dan pelatihan 🤗 Transformers, Diffusers, TIMM, dan Sentence Transformers dengan alat optimasi perangkat keras yang mudah digunakan

Model bahasa prat terlatih dan teknik optimasi terkait yang dikembangkan oleh Huawei Noah's Ark Lab.

Kuantisasi native PyTorch untuk pelatihan dan inferensi

Plugin ComfyUI untuk Nunchaku

Lembar contekan Anda untuk wawancara AI Engineering – Pertanyaan dan Jawaban.

Kuantisasi LLM low-bit SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsity; teknik kompresi model terdepan pada PyTorch, TensorFlow, dan ONNX Runtime

AIMET adalah pustaka yang menyediakan teknik kuantisasi dan kompresi canggih untuk model jaringan saraf yang telah dilatih.

Bangun, personalisasi, dan kendalikan LLM Anda sendiri. Dari pra-pemrosesan data hingga fine-tuning, xTuring menyediakan cara mudah untuk mempersonalisasi LLM sumber terbuka. Bergabunglah dengan komunitas discord kami: https://discord.gg/TgHXuSJEk6

Daftar makalah, dokumen, dan kode tentang kuantisasi model. Repositori ini bertujuan menyediakan informasi untuk penelitian kuantisasi model dan terus dikembangkan. Silakan ajukan PR untuk karya (makalah, repositori) yang belum tercantum.

Menguasai AI Terapan, satu konsep dalam satu waktu.

Jalankan model Mixtral-8x7B di Colab atau desktop konsumen

micronet, pustaka kompresi dan deployment model. Kompresi: 1. Kuantisasi: quantization-aware-training (QAT), High-Bit (>2b), Low-Bit (≤2b)/Ternary dan Binary (TWN/BNN/XNOR-Net); post-training-quantization (PTQ), 8-bit (tensorrt); 2. Pruning: normal, regular, dan group convolutional channel pruning; 3. grou

Jalankan LLM 1 miliar parameter pada papan $10 dengan RAM 256MB

PPL Quantization Tool (PPQ) adalah alat kuantisasi jaringan saraf tiruan offline yang kuat.

Kotak Alat Kompresi Model dan Tolok Ukur OpenMMLab.

PaddleSlim adalah pustaka sumber terbuka untuk kompresi model mendalam dan pencarian arsitektur.

Algoritma kuantisasi SOTA untuk inferensi LLM bit-rendah dengan akurasi tinggi, dioptimalkan secara mulus untuk CPU/XPU/CUDA, dengan dukungan berbagai tipe data dan kompatibilitas penuh dengan vLLM, SGLang, dan Transformers.

Inferensi INT4/INT5/INT8 dan FP16 pada CPU untuk model bahasa RWKV