kvcache-ai/Mooncake

Mooncakeは、Moonshot AIが提供する主要なLLMサービスKimiの提供プラットフォームです。

↗ GitHub で開く

スター

6,470

フォーク

1,161

言語

C++

ライセンス

Apache-2.0

最終プッシュ

7 日前

C++llm vllm reinforcement-learning inference sglang rdma disaggregation kvcache tokenspeed trt-llm

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。