bentoml 收录中的开源项目,按星标数排序。
在云端将任何开源 LLM(如 DeepSeek、Llama)作为兼容 OpenAI 的 API 端点运行。
最简便的 AI 应用与模型服务方式 ─ 构建模型推理 API、作业队列、LLM 应用、多模型流水线等