FMInference/H2O

[NeurIPS'23] H2O：用於大型語言模型高效生成式推論的 Heavy-Hitter Oracle

↗ 在 GitHub 開啟

星數

533

Fork 數

89

語言

Python

授權

—

最後推送

2 年前

Python large-language-models high-throughput gpt-3 heavy-hitters kv-cache sparsity

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。