quantization

INT4/INT5/INT8- und FP16-Inferenz auf der CPU für das RWKV-Sprachmodell

Ein Toolkit zur Optimierung von ML-Modellen für die Bereitstellung in Keras und TensorFlow, einschließlich Quantisierung und Pruning.

Brevitas: Neuronale Netz-Quantisierung in PyTorch

Berechnet Token/s und GPU-Speicherbedarf für beliebige LLMs. Unterstützt llama.cpp/ggml/bnb/QLoRA-Quantisierung.

Erstellen Sie Computer-Vision-Modelle in einem Bruchteil der Zeit und mit weniger Daten.

Effiziente Rechenmethoden, entwickelt vom Huawei Noah's Ark Lab

LLM-Modell-Quantisierungs- (Kompprimierungs-) Toolkit mit Hardware-Beschleunigungsunterstützung für Nvidia-, AMD-, Intel-GPUs und Intel/AMD/Apple-CPUs über HF, vLLM und SGLang.

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Neuronales Netzwerk-Komprimierungsframework für verbesserte OpenVINO™-Inferenz

FP16xINT4 LLM-Inferenz-Kernel, der bei mittleren Batchgrößen von 16-32 Token nahezu ideale 4-fache Geschwindigkeitssteigerungen erzielen kann.

Z80-μLM ist ein auf 2 Bit quantisiertes Sprachmodell, das klein genug ist, um auf einem 8-Bit-Z80-Prozessor zu laufen. Trainieren Sie Konversationsmodelle in Python, exportieren Sie sie als CP/M-.COM-Binärdateien und chatten Sie mit Ihrem Vintage-Computer.

Dataflow-Compiler für QNN-Inferenz auf FPGAs

Ein PyTorch-Quantisierungs-Backend für optimum

[ICML2025] SpargeAttention: Eine trainingsfreie sparse Attention, die die Inferenz beliebiger Modelle beschleunigt.

Ein Tool zum Konvertieren von ONNX-Dateien in LiteRT/TFLite/TensorFlow, PyTorch Native Code (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) und Dynamo ONNX. Es unterstützt auch die direkte Konvertierung von LiteRT zu PyTorch.

TinyChatEngine: LLM-Inferenzbibliothek für Endgeräte

Offizielle Implementierung von Half-Quadratic Quantization (HQQ)

[NeurIPS 2020] MCUNet: Tiny Deep Learning auf IoT-Geräten; [NeurIPS 2021] MCUNetV2: Speicherffiziente, patch-basierte Inferenz für Tiny Deep Learning; [NeurIPS 2022] MCUNetV3: On-Device-Training unter 256 KB Speicher

Paletten-Quantisierungsbibliothek, die pngquant und andere PNG-Optimierer antreibt

[ICLR2024 Spotlight] OmniQuant ist eine einfache und leistungsstarke Quantisierungstechnik für LLMs.

Liste von Artikeln zur Quantisierung neuronaler Netze auf aktuellen KI-Konferenzen und in Fachzeitschriften.

[EMNLP 2024 & AAAI 2026] Ein leistungsstarkes Toolkit zur Komprimierung großer Modelle einschließlich LLMs, VLMs und Video-Generierungsmodellen.

[ICML 2024] SqueezeLLM: Dense-and-Sparse Quantization

Der Hailo Model Zoo enthält vortrainierte Modelle und eine vollständige Erstellungs- und Evaluierungsumgebung

Willkommen im offiziellen Repository von SINQ! Eine neuartige, schnelle und hochwertige Quantisierungsmethode, die entwickelt wurde, um jedes Large Language Model kleiner zu machen und gleichzeitig die Genauigkeit zu erhalten [ICML 2026]

RDNA-native LLM-Inferenz-Engine in Rust.

Offline-semantische Text-zu-Bild- und Bild-zu-Bild-Suche auf Android, angetrieben durch ein quantisiertes, hochmodernes Vision-Language-Modell CLIP und die ONNX Runtime

QKeras: eine Quantisierungs-Deep-Learning-Bibliothek für Tensorflow Keras

Tool für die Konvertierung von ONNX zu Keras oder ONNX zu TFLite.

Vom Lehrer zu den Kacheln – eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: mit benutzerdefinierten Triton/CUDA-Kernels, FSDP-Destillation, Paged-KV Continuous Batching, spekulativem Decoding, einem Rust-Gateway, einem JAX-Oracle und Tools zur Interpretierbarkeit.