flashinfer-ai/flashinfer

FlashInfer: LLMサービングのためのカーネルライブラリ

↗ GitHub で開く

スター

6,321

フォーク

1,380

言語

Python

ライセンス

Apache-2.0

最終プッシュ

4 日前

Python cuda llm-inference pytorch jit gpu nvidia attention moe distributed-inference large-large-models

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。