bentoml

Chạy bất kỳ LLM mã nguồn mở nào, chẳng hạn như DeepSeek và Llama, như một điểm cuối API tương thích với OpenAI trên đám mây.

Cách dễ nhất để cung cấp các ứng dụng và mô hình AI - Xây dựng API suy luận mô hình, hàng đợi tác vụ, ứng dụng LLM, pipeline đa mô hình, v.v.!