FMInference/H2O

[NeurIPS'23] H2O：用于大型语言模型高效生成式推理的 Heavy-Hitter Oracle

↗ 在 GitHub 打开

星数

532

Fork 数

89

语言

Python

许可

—

最后推送

2年前

Python large-language-models high-throughput gpt-3 heavy-hitters kv-cache sparsity

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。