quantization

RWKV भाषा मॉडल के लिए CPU पर INT4/INT5/INT8 और FP16 इनफेरेंस।

Keras और TensorFlow के लिए डिप्लॉयमेंट हेतु ML मॉडल को अनुकूलित करने वाला टूलकिट, जिसमें क्वांटाइजेशन और प्रूनिंग शामिल है।

Brevitas: PyTorch में न्यूरल नेटवर्क क्वांटाइजेशन

किसी भी LLM के लिए token/s और GPU मेमोरी आवश्यकता की गणना करें। llama.cpp/ggml/bnb/QLoRA क्वांटाइजेशन का समर्थन करता है

बहुत कम समय में और कम डेटा के साथ computer vision मॉडल बनाएं।

Huawei Noah's Ark Lab द्वारा विकसित कुशल कंप्यूटिंग विधियाँ

Nvidia, AMD, Intel GPU और Intel/AMD/Apple CPU के लिए HF, vLLM और SGLang के माध्यम से HW एक्सीलरेशन समर्थन के साथ LLM मॉडल क्वांटाइजेशन (कंप्रेशन) टूलकिट।

बेहतर OpenVINO™ inference के लिए Neural Network Compression Framework

vLLM के साथ सिंगल RTX 3090 पर Qwen3.8-27B: 64 समवर्ती पर ~1,000 tok/s (int8 tensor-core GEMMs, fp16 DeltaNet state), डिफ़ॉल्ट सैंपलिंग पर ~114 tok/s सिंगल-यूज़र / ~124 ग्रीडी (MTP ड्राफ्ट, own-output draft vocab, कैलिब्रेटेड int4 lm_head, split-KV verify attention), 150k-262k संदर्भ; पैच, रीक्वांट स्क्रिप्ट, बेंचमार्क

FP16xINT4 LLM इंफरेंस कर्नेल जो 16-32 टोकन के मध्यम बैच आकार तक लगभग-आदर्श ~4x स्पीडअप प्राप्त कर सकता है।

Z80-μLM एक 2-बिट क्वांटाइज्ड लैंग्वेज मॉडल है जो 8-बिट Z80 प्रोसेसर पर चलने के लिए काफी छोटा है। Python में संवादात्मक मॉडल प्रशिक्षित करें, उन्हें CP/M .COM बाइनरी के रूप में निर्यात करें, और अपने पुराने कंप्यूटर के साथ चैट करें।

FPGAs पर QNN इन्फरेंस के लिए डेटाफ्लो कंपाइलर

optimum के लिए एक pytorch क्वांटाइजेशन बैकएंड।

[ICML2025] SpargeAttention: एक ट्रेनिंग-मुक्त स्पार्स अटेंशन जो किसी भी मॉडल के इन्फॉरेंस को गति देता है।

ONNX फ़ाइलों को LiteRT/TFLite/TensorFlow, PyTorch नेटिव कोड (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2), और Dynamo ONNX में बदलने के लिए एक टूल। यह LiteRT से PyTorch में सीधे रूपांतरण का भी समर्थन करता है।

TinyChatEngine: ऑन-डिवाइस LLM इन्फेरेंस लाइब्रेरी

Half-Quadratic Quantization (HQQ) का आधिकारिक कार्यान्वयन

[NeurIPS 2020] MCUNet: IoT डिवाइस पर टाइनी डीप लर्निंग; [NeurIPS 2021] MCUNetV2: टाइनी डीप लर्निंग के लिए मेमोरी-कुशल पैच-आधारित इन्फरेंस; [NeurIPS 2022] MCUNetV3: 256KB मेमोरी के तहत ऑन-डिवाइस ट्रेनिंग

पैलेट क्वांटिज़ेशन लाइब्रेरी जो pngquant और अन्य PNG ऑप्टिमाइज़र को पावर देती है

[ICLR2024 spotlight] OmniQuant LLMs के लिए एक सरल और शक्तिशाली क्वांटाइजेशन तकनीक है।

हालिया AI सम्मेलनों और पत्रिकाओं में न्यूरल नेटवर्क क्वांटाइजेशन से संबंधित शोध पत्रों की सूची।

[EMNLP 2024 & AAAI 2026] LLMs, VLMs और वीडियो जेनरेटिव मॉडल सहित बड़े मॉडलों को कंप्रेस करने के लिए एक शक्तिशाली टूलकिट।

[ICML 2024] SqueezeLLM: डेंस-एंड-स्पार्स क्वांटाइजेशन।

Hailo Model Zoo में प्री-ट्रेंड मॉडल और एक पूर्ण बिल्डिंग और इवैल्यूएशन एनवायरनमेंट शामिल है

SINQ की आधिकारिक रिपॉजिटरी में आपका स्वागत है! एक नई, तेज़ और उच्च-गुणवत्ता वाली क्वांटिज़ेशन विधि जिसे किसी भी Large Language Model को सटीकता बनाए रखते हुए छोटा करने के लिए डिज़ाइन किया गया है [ICML 2026]।

Rust में RDNA-नेटिव LLM इन्फरेंस इंजन

Android पर ऑफ़लाइन सेमेंटिक टेक्स्ट-टू-इमेज और इमेज-टू-इमेज सर्च, जो क्वांटाइज़्ड अत्याधुनिक विज़न-लैंग्वेज प्रीट्रेन्ड CLIP मॉडल और ONNX रनटाइम इन्फरेंस इंजन द्वारा संचालित है।

QKeras: Tensorflow Keras के लिए एक क्वांटाइजेशन डीप लर्निंग लाइब्रेरी

onnx->keras या onnx->tflite के लिए टूल। आशा है कि यह टूल आपकी मदद करेगा।

शून्य से निर्मित LLM डिस्टिलेशन और सर्विंग इंजन: कस्टम Triton/CUDA कर्नेल, FSDP डिस्टिलेशन, पेज्ड-KV कंटीन्यूअस बैचिंग, सट्टा डिकोडिंग, एक Rust गेटवे, एक JAX ओरेकल और व्याख्यात्मकता उपकरण।