mit-han-lab/omniserve
@mit-han-lab[MLSys'25] QServe: 効率的な LLM サービングのための W4A8KV4 量子化とシステム共同設計; [MLSys'25] LServe: 統合スパースアテンションによる効率的な長文脈 LLM サービング
スター
858
フォーク
69
言語
C++
ライセンス
Apache-2.0
最終プッシュ
2 年前
関連 Intel（0）
関連 Intel はまだありません
このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。