serving

Ray es un motor de cómputo para IA. Consta de un entorno de ejecución distribuido central y un conjunto de librerías de IA para acelerar las cargas de trabajo de ML.

Un sistema de servicio flexible y de alto rendimiento para modelos de aprendizaje automático

Un sistema de procesamiento por lotes nativo de la nube (proyecto bajo la CNCF)

Un framework MLOps para empaquetar, implementar, monitorear y gestionar miles de modelos de aprendizaje automático en producción

Aprende el sistema de inferencia de LLM en Apple Silicon para ingenieros de sistemas: construye un pequeño vLLM + Qwen

En este repositorio compartiré algunas notas y referencias útiles sobre el despliegue de modelos basados en aprendizaje profundo en producción.

Un framework minimalista de Python para crear servidores de inferencia de IA personalizados con control total sobre la lógica, el procesamiento por lotes y el escalado.

Toolkit de inferencia y despliegue de alto rendimiento para LLMs y VLMs basado en PaddlePaddle

Una guía completa para construir aplicaciones LLM basadas en RAG para producción.

Una base de datos vectorial multimodal que admite inserciones y consultas vectoriales mediante SQL unificado (compatible con MySQL) en datos estructurados y no estructurados, cumpliendo con los requisitos de alta concurrencia y latencia ultrabaja.

Un contenedor flexible y de alto rendimiento para modelos de aprendizaje automático (framework de despliegue de servicios PaddlePaddle)

Un servidor de inferencia escalable para modelos optimizados con OpenVINO™.

Servicio de despliegue genérico y fácil de usar para modelos de aprendizaje automático.

Una plataforma unificada de inteligencia artificial de extremo a extremo.