xorbitsai

只需更改一行代码，即可将 GPT 替换为任意 LLM。Xinference 让你在云端、本地或笔记本上运行开源、语音和多模态模型，统一的生产级推理 API

具备 API 兼容性且极速的可扩展 Python DS 与 ML 工具。