flashinfer-ai/flashinfer

FlashInfer：大型語言模型服務的核心函式庫

↗ 在 GitHub 開啟

星數

6,321

Fork 數

1,380

語言

Python

授權

Apache-2.0

最後推送

1 週前

Python cuda llm-inference pytorch jit gpu nvidia attention moe distributed-inference large-large-models

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。