FMInference/H2O

[NeurIPS'23] 大規模言語モデルの効率的な生成推論のための Heavy-Hitter Oracle (H2O)

↗ GitHub で開く

スター

532

フォーク

89

言語

Python

ライセンス

—

最終プッシュ

2 年前

Python large-language-models high-throughput gpt-3 heavy-hitters kv-cache sparsity

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。