bentoml

Execute qualquer LLM de código aberto, como DeepSeek e Llama, como um endpoint de API compatível com OpenAI na nuvem.

A maneira mais fácil de servir aplicativos e modelos de IA - Crie APIs de inferência de modelos, filas de tarefas, aplicativos de LLM, pipelines multimodelo e muito mais!