メインコンテンツへスキップ
buildradar
Sign in

0xSero/turboquant

@0xSero

TurboQuant: TritonカーネルとvLLM統合による、LLM推論のための準最適KVキャッシュ量子化(3ビットキー、2ビットバリュー)

スター
1,753
フォーク
195
言語
Python
ライセンス
GPL-3.0
最終プッシュ
5 か月前
Python

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。