bentoml/OpenLLM

DeepSeekやLlamaなどのオープンソースLLMを、クラウド上でOpenAI互換のAPIエンドポイントとして実行できます。

↗ GitHub で開く

スター

12,524

フォーク

837

言語

Python

ライセンス

Apache-2.0

最終プッシュ

1 週間前

Python llm llm-inference fine-tuning llmops llama llama2 vicuna mlops mistral open-source-llm llm-serving llm-ops bentoml llama3-1 llama3-2 llama3-2-vision model-inference openllm

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。