kv-cache

LMCache: Tingkatkan LLM Anda dengan lapisan KV Cache tercepat

Server dan Klaster Redis yang diimplementasikan dalam Golang.

Metode Kompresi KV Cache Terpadu untuk Model Auto-Regressive

Kompresi KV cache LLM menjadi lebih mudah

Qwen3.8-27B pada satu RTX 3090 dengan vLLM: ~1.000 tok/s pada 64 konkuren (GEMM tensor-core int8, status fp16 DeltaNet), ~114 tok/s pengguna tunggal pada sampling default / ~124 greedy (draft MTP, vocab draft output sendiri, lm_head int4 terkalibrasi, verifikasi attention split-KV), konteks 150k-262k; patch, skrip requant, benchmark

Catatan LLM, termasuk inferensi model, struktur model transformer, dan catatan analisis kode kerangka kerja LLM.

Mesin inferensi LLM murni Rust + CUDA — tanpa PyTorch, kompatibel dengan OpenAI, melayani Qwen3 hingga Kimi-K2

Pahami inferensi llama3 langkah demi langkah, pahami konsep inti, kuasai penurunan proses, dan implementasikan kodenya.

Mixture-of-Recursions: Mempelajari Kedalaman Rekursif Dinamis untuk Komputasi Tingkat Token Adaptif (NeurIPS 2025)

Dari guru ke tile — mesin distilasi & penyajian LLM dari awal: kernel Triton/CUDA kustom, distilasi FSDP, batching kontinu paged-KV, dekoding spekulatif, gateway Rust, oracle JAX, dan alat interpretabilitas.

[NeurIPS'23] H2O: Heavy-Hitter Oracle untuk Inferensi Generatif yang Efisien pada Large Language Models.