model-serving

Um mecanismo de inferência e atendimento de alto rendimento e eficiente em memória para LLMs

A maneira mais fácil de servir aplicativos e modelos de IA - Crie APIs de inferência de modelos, filas de tarefas, aplicativos de LLM, pipelines multimodelo e muito mais!

Um framework para inferência eficiente de modelos com modelos de omnimodalidade

Plataforma padronizada de inferência de IA generativa e preditiva distribuída para implantação escalável em múltiplos frameworks no Kubernetes.

Sistema operacional de nuvem pessoal de código aberto para agentes sempre ativos.

Neste repositório, compartilharei algumas notas e referências úteis sobre como implantar modelos baseados em aprendizado profundo em produção.

🚀 Awesome System for Machine Learning ⚡️ Artigos sobre sistemas de IA e práticas da indústria. ⚡️ Sistemas para Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, etc. 🗃️ Llama3, Mistral, etc. 🧑‍💻 Tutoriais em vídeo.

LightLLM é um framework de inferência e atendimento para LLMs (Modelos de Linguagem Grande) baseado em Python, notável por seu design leve, fácil escalabilidade e alto desempenho.

FEDML - A biblioteca de ML unificada e escalável para treinamento distribuído em larga escala, serviço de modelos e aprendizado federado. O FEDML Launch, um agendador cross-cloud, permite executar qualquer trabalho de IA em qualquer nuvem de GPU ou cluster local. Construída sobre esta biblioteca, a TensorOpera AI (https://TensorOpera.ai) é sua plataforma de IA generativa em escala.

Servidor de inferência Multi-LoRA que escala para milhares de LLMs ajustados

Framework de inferência de alto desempenho para grandes modelos de linguagem, com foco em eficiência, flexibilidade e disponibilidade.

Plugin de hardware mantido pela comunidade para vLLM em Ascend.

OpenLake é um motor de armazenamento de alto desempenho para inferência eficiente de LLM e treinamento em GPU

Ambiente de desenvolvimento reproduzível para humanos e agentes

AICI: Prompts como Programas (Wasm)

MLRun é uma plataforma MLOps de código aberto para construir e gerenciar rapidamente aplicações de ML contínuas ao longo de seu ciclo de vida. O MLRun integra-se ao seu ambiente de desenvolvimento e CI/CD, automatizando a entrega de dados de produção, pipelines de ML e aplicações online.

Uma ferramenta DevOps de código aberto da CNCF para empacotar e versionar modelos de IA/ML, conjuntos de dados, código e configurações em um OCI Artifact.

RTP-LLM: motor de inferência LLM de alto desempenho da Alibaba para diversas aplicações.

Hopsworks - Plataforma de IA intensiva em dados com um Feature Store

A maneira mais simples de servir modelos de IA/ML em produção

O SGLang-Omni capacita o atendimento de alto desempenho para modelos TTS, ASR, de fala e onidirecionais.

Uma estrutura de atendimento de alto desempenho orientada a vazão para LLMs

Servidor de inferência escalável para modelos otimizados com OpenVINO™

Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.

Um framework de atendimento de modelos ML de alto desempenho, oferece loteamento dinâmico e pipelines de CPU/GPU para explorar totalmente sua máquina de computação

Serviço de LLM serverless para todos.

Ollama para modelos de ML clássicos. Compilador AOT que transforma modelos XGBoost, LightGBM, scikit-learn, CatBoost e ONNX em código de inferência C99 nativo. Um comando para carregar, um comando para servir. 336x mais rápido que a inferência em Python.

Mecanismo de inferência de LLM em Pure Rust + CUDA — sem PyTorch, compatível com OpenAI, serve de Qwen3 a Kimi-K2

Aplicação esqueleto em FastAPI para servir modelos de aprendizado de máquina prontos para produção.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton