kvcache-ai 收录中的开源项目,按星标数排序。
一个灵活的框架,用于体验异构 LLM 推理/微调优化。
Mooncake 是 Moonshot AI 提供的领先 LLM 服务 Kimi 的服务平台
AgentENV (AENV) 是一个用于大规模运行 Agent 环境的分布式平台。