serving

Ray é um motor de computação de IA. O Ray consiste em um runtime distribuído principal e um conjunto de bibliotecas de IA para acelerar cargas de trabalho de ML.

Um sistema de atendimento flexível e de alto desempenho para modelos de machine learning

Um sistema de processamento em lote nativo da nuvem (Projeto sob a CNCF)

Um framework MLOps para empacotar, implantar, monitorar e gerenciar milhares de modelos de aprendizado de máquina em produção.

Aprenda o sistema de inferência de LLM em Apple Silicon para engenheiros de sistemas: construa um pequeno vLLM + Qwen

Neste repositório, compartilharei algumas notas e referências úteis sobre como implantar modelos baseados em aprendizado profundo em produção.

Um framework Python minimalista para criar servidores de inferência de IA personalizados com controle total sobre lógica, processamento em lote e escalabilidade.

Kit de ferramentas de inferência e implantação de alto desempenho para LLMs e VLMs baseado em PaddlePaddle.

Um guia abrangente para a construção de aplicativos de LLM baseados em RAG para produção.

Um banco de dados vetorial multimodal que suporta inserções (upserts) e consultas vetoriais usando SQL unificado (compatível com MySQL) em dados estruturados e não estruturados, atendendo aos requisitos de alta concorrência e latência ultrabaixa.

Um transportador flexível e de alto desempenho para modelos de aprendizado de máquina (framework de implantação de serviços 'PaddlePaddle')

Servidor de inferência escalável para modelos otimizados com OpenVINO™

Serviço de atendimento genérico e fácil de usar para modelos de machine learning

Uma plataforma unificada de inteligência de máquina de ponta a ponta