bentoml の追跡中のオープンソースリポジトリを、スター数順に表示します。
DeepSeekやLlamaなどのオープンソースLLMを、クラウド上でOpenAI互換のAPIエンドポイントとして実行できます。
AIアプリやモデルを配信する最も簡単な方法 - モデル推論API、ジョブキュー、LLMアプリ、マルチモデルパイプラインなどを構築!