bentoml

Exécutez n'importe quel LLM open-source, tel que DeepSeek ou Llama, en tant que point de terminaison d'API compatible OpenAI dans le cloud.

Le moyen le plus simple de servir des applications et modèles d'IA - Construisez des API d'inférence de modèles, des files d'attente de tâches, des applications LLM, des pipelines multi-modèles, et plus encore !