llmops

Superduper: Framework de ponta a ponta para construir aplicações e agentes de IA personalizados.

O guia prático de LLMs: dos fundamentos à implementação de aplicações avançadas de LLM e RAG na AWS usando as melhores práticas de LLMOps

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

Ajuste fino de LLMs a partir de um único YAML. O streaming de camadas treina um modelo de 8B em uma GPU de laptop de 4 GB.

🤖 Aprenda de graça como construir um sistema de LLM e RAG pronto para produção de ponta a ponta usando as melhores práticas de LLMOps: ~ código-fonte + 12 lições práticas

Servidor de inferência Multi-LoRA que escala para milhares de LLMs ajustados

Habilidades de agente como uma camada de memória

Avaliação e rastreamento para experimentos de LLM e agentes de IA.

A plataforma para avaliações de LLM e testes de agentes de IA.

🕹️ Plataforma LLMOps de código aberto, focada no desenvolvedor, projetada para otimizar o design de prompts, gerenciamento de versão, entrega instantânea, colaboração, solução de problemas, observabilidade e muito mais.

Laminar - plataforma de observabilidade de código aberto criada especificamente para agentes de IA. YC S24.

AGiXT é uma plataforma dinâmica de automação de agentes de IA que orquestra perfeitamente o gerenciamento de instruções e a execução de tarefas complexas em diversos provedores de IA. Combinando memória adaptativa, recursos inteligentes e um sistema de plugins versátil, o AGiXT oferece soluções de IA eficientes e abrangentes.

Aprenda a construir seu assistente de IA 'Second Brain' com LLMs, agentes, RAG, fine-tuning, LLMOps e técnicas de sistemas de IA.

Um ambiente de programação visual de código aberto para testar prompts de LLMs.

Transforme prompts caros em modelos ajustados (fine-tuned) de baixo custo

Plugin de hardware mantido pela comunidade para vLLM em Ascend.

Plataforma de código aberto para engenharia de IA: observabilidade de LLM nativa do OpenTelemetry, monitoramento de GPU, guardrails, avaliações, gerenciamento de prompts, Vault e Playground. Integra-se com mais de 50 provedores de LLM, bancos de dados vetoriais, frameworks de agentes e GPUs.

O Apache Hamilton ajuda cientistas de dados e engenheiros a definir fluxos de dados testáveis, modulares e auto-documentados, que codificam linhagem/rastreamento e metadados. Executa e escala em qualquer lugar onde o Python execute.

Construa aplicações que tomam decisões (chatbots, agentes, simulações, etc...). Monitore, rastreie, persista e execute em sua própria infraestrutura.

Plataforma de IA de código aberto cubestudio: solução completa nativa em nuvem para aprendizado de máquina, aprendizado profundo e grandes modelos (LLMs). Inclui MaaS, MLOps, orquestração de pipeline, treinamento distribuído, busca de hiperparâmetros, inferência, virtualização VGPU, computação de borda, rotulagem automatizada, ajuste fino (SFT) de modelos como deepseek, suporte a inferência multi-máquina (vllm/ollama/mindie), bases de conhecimento privadas, marketplace de modelos e suporte a hardware heterogêneo (Ascend, Cambricon, etc.) com suporte a RDMA/RoCE.

UpTrain é uma plataforma unificada de código aberto para avaliar e melhorar aplicações de IA Generativa. Fornecemos notas para mais de 20 verificações pré-configuradas (cobrindo casos de uso de linguagem, código e embedding), realizamos análise de causa raiz em casos de falha e oferecemos insights sobre como resolvê-los.

Bionic é uma IA soberana para empresas — uma IA semelhante ao ChatGPT que roda localmente e pode trabalhar com segurança com seus dados e sistemas sensíveis.

Framework de automodificação vindo do futuro. O primeiro AMS (Agentic Modeling System) do mundo.

Framework no-code multi-agente para criar agentes, fluxos de trabalho e aplicações de LLM com seus dados

Ambiente de desenvolvimento reproduzível para humanos e agentes

Um aplicativo de gerenciamento de servidor MCP unificado (MCP Manager).

AICI: Prompts como Programas (Wasm)

Plataforma open-source de ponta a ponta para avaliar, observar e melhorar aplicações de LLM e agentes de IA. Rastreamento, avaliações, simulações, conjuntos de dados, gateway e guardrails. Auto-hospedável. Licença Apache 2.0.

Busca vetorial escalável, rápida e amigável ao disco no Postgres, o sucessor do pgvecto.rs.

Plataforma de balanceamento de carga e serviço de LLM/VLM de código aberto para auto-hospedagem de LLMs (e VLMs) em escala. Alternativa a projetos como llm-d, Docker Model Runner, etc., mas com menos partes móveis e implantações simples construídas em torno do ecossistema ggml. Executa em CPU e GPU.