ovg-project/kvcached

KV Cache Elastis Tervirtualisasi untuk Berbagi GPU Dinamis dan Lebih Jauh Lagi

↗ Buka di GitHub

Bintang

1.275

Fork

144

Bahasa

Python

Lisensi

Apache-2.0

Push terakhir

2 minggu yang lalu

Python llm ollama llm-inference vllm serverless inference-engine llm-framework llm-serving sglang kvcache-optimization elastic-kvcache gpu-mutiplexing gpu-sharing kvcache kvcached online-offline-coserve

Belum ada intel terkait

Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.