serving

Ray est un moteur de calcul pour l'IA. Il se compose d'un runtime distribué et d'un ensemble de bibliothèques IA pour accélérer les charges de travail ML.

Un système de service flexible et haute performance pour les modèles de machine learning

Un système de traitement par lots natif pour le cloud (projet sous l'égide de la CNCF).

Un framework MLOps pour empaqueter, déployer, surveiller et gérer des milliers de modèles d'apprentissage automatique en production

Apprendre le système d'inférence LLM sur Apple Silicon pour les ingénieurs système : construire un vLLM miniature + Qwen

Dans ce dépôt, je partage des notes et des références utiles sur le déploiement de modèles basés sur l'apprentissage profond en production

Un framework Python minimaliste pour créer des serveurs d'inférence IA personnalisés avec un contrôle total sur la logique, le traitement par lots et la mise à l'échelle.

Boîte à outils d'inférence et de déploiement haute performance pour LLM et VLM basée sur PaddlePaddle

Un guide complet pour la création d'applications LLM basées sur le RAG en production.

Une base de données vectorielle multimodale prenant en charge les upserts et les requêtes vectorielles via SQL unifié (compatible MySQL) sur des données structurées et non structurées, tout en répondant aux exigences de haute concurrence et de latence ultra-faible.

Un support flexible et performant pour les modèles de machine learning (cadre de déploiement de service PaddlePaddle).

Un serveur d'inférence scalable pour les modèles optimisés avec OpenVINO™.

Service de déploiement générique et facile à utiliser pour les modèles de machine learning

Une plateforme unifiée d'intelligence machine de bout en bout