kv-cache

LMCache: Beschleunigen Sie Ihr LLM mit der schnellsten KV-Cache-Schicht

Ein in Golang implementierter Redis-Server und -Cluster.

Einheitliche KV-Cache-Kompressionsmethoden für autoregressive Modelle

LLM-KV-Cache-Kompprimierung leicht gemacht

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

LLM-Notizen einschließlich Modellinferenz, Transformer-Modellstruktur und Quellcodeanalyse von LLM-Frameworks.

Reines Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

Schritt-für-Schritt-Implementierung der llama3-Inferenz, Verständnis der Kernkonzepte, Beherrschung der Prozessableitung und Implementierung des Codes.

Mixture-of-Recursions: Erlernen dynamischer Rekursionstiefen für adaptive Berechnungen auf Token-Ebene (NeurIPS 2025)

Vom Lehrer zu den Kacheln – eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: mit benutzerdefinierten Triton/CUDA-Kernels, FSDP-Destillation, Paged-KV Continuous Batching, spekulativem Decoding, einem Rust-Gateway, einem JAX-Oracle und Tools zur Interpretierbarkeit.

[NeurIPS'23] H2O: Heavy-Hitter Oracle für effiziente generative Inferenz großer Sprachmodelle.