bentoml 收錄中的開源專案,依星數排序。
在雲端將任何開源 LLM(如 DeepSeek、Llama)作為兼容 OpenAI 的 API 端點運行。
最簡便的 AI 應用與模型服務方式 ─ 建立模型推論 API、工作佇列、LLM 應用、多模型流水線等