xorbitsai/inference

Thay thế GPT bằng bất kỳ LLM nào chỉ với một dòng mã. Xinference cho phép bạn chạy các mô hình mã nguồn mở, giọng nói và đa phương thức trên đám mây, tại chỗ hoặc trên máy tính xách tay — tất cả thông qua một API suy luận thống nhất, sẵn sàng cho môi trường sản xuất.