xorbitsai/inference

Remplacez GPT par n'importe quel LLM en changeant une seule ligne de code. Xinference vous permet d'exécuter des modèles open source, vocaux et multimodaux sur le cloud, en local ou sur votre ordinateur portable, le tout via une API d'inférence unifiée et prête pour la production.