TurboQuant: TritonカーネルとvLLM統合による、LLM推論のための準最適KVキャッシュ量子化(3ビットキー、2ビットバリュー)
このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。