rednote-machine-learning/RedKnot
@rednote-machine-learning透過感知 KV 重用與 SegPagedAttention 實現高效能長文本 LLM 服務
星數
2,105
Fork 數
858
語言
Python
授權
Apache-2.0
最後推送
5 天前
相關情報（0）
還沒有相關情報
radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。
透過感知 KV 重用與 SegPagedAttention 實現高效能長文本 LLM 服務
radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。