kv-cache

LMCache: Tăng tốc LLM của bạn với lớp KV Cache nhanh nhất

Một Redis Server và Cluster được triển khai bằng Golang. Máy chủ Redis và cụm phân tán được triển khai bằng ngôn ngữ Go.

Các phương pháp nén bộ đệm KV thống nhất cho các mô hình tự hồi quy

Làm cho việc nén bộ nhớ đệm KV của LLM trở nên dễ dàng

Qwen3.8-27B chạy trên một card RTX 3090 duy nhất với vLLM: ~1.000 tok/s ở mức 64 luồng đồng thời (int8 tensor-core GEMMs, trạng thái fp16 DeltaNet), ~114 tok/s cho người dùng đơn lẻ ở chế độ lấy mẫu mặc định / ~124 greedy (MTP drafts, từ vựng dự đoán đầu ra riêng, lm_head int4 đã hiệu chỉnh, split-KV verify attention), ngữ cảnh 150k-262k; bao gồm các bản vá, tập lệnh tái lượng tử hóa và các bài kiểm tra hiệu năng.

Ghi chú về LLM, bao gồm suy luận mô hình, cấu trúc mô hình transformer và ghi chú phân tích mã nguồn framework LLM.

Công cụ suy luận LLM bằng Rust thuần + CUDA — không cần PyTorch, tương thích với OpenAI, hỗ trợ từ Qwen3 đến Kimi-K2.

Thực hiện suy luận llama3 từng bước, nắm vững các khái niệm cốt lõi, hiểu rõ quá trình suy luận và triển khai mã nguồn.

Mixture-of-Recursions: Học độ sâu đệ quy động cho tính toán cấp token thích ứng (NeurIPS 2025)

Từ mô hình giáo viên đến mô hình tối ưu — engine chưng cất & phục vụ LLM từ đầu: các kernel Triton/CUDA tùy chỉnh, chưng cất FSDP, phân trang KV batching liên tục, giải mã suy đoán, gateway Rust, oracle JAX và công cụ diễn giải.

[NeurIPS'23] H2O: Heavy-Hitter Oracle cho suy luận tạo sinh hiệu quả của các mô hình ngôn ngữ lớn.