llmops

Modelos de nuvem prontos para execução para RAG, pipelines de IA e busca empresarial com dados em tempo real. 🐳 Compatível com Docker. ⚡ Sempre sincronizado com Sharepoint, Google Drive, S3, Kafka, PostgreSQL, APIs de dados em tempo real e muito mais.

O AI Gateway mais rápido e leve. Núcleo em Rust com SDK em Python. Chame mais de 100 APIs de LLM no formato OpenAI (ou nativo) com rastreamento de custos, guardrails, balanceamento de carga e registro de logs [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

🪢 Plataforma de engenharia de IA de código aberto: avaliações de LLM, observabilidade, métricas, gerenciamento de prompts, playground, conjuntos de dados. Integra-se com OpenTelemetry, LangChain, SDK da OpenAI, LiteLLM e muito mais. 🍊YC W23

Composio oferece mais de 1000 toolkits, busca de ferramentas, gerenciamento de contexto, autenticação e um ambiente de trabalho em sandbox para ajudar a construir agentes de IA que transformam intenção em ação.

A plataforma de engenharia de IA de código aberto para agentes, LLMs e modelos de ML. O MLflow permite que equipes de todos os tamanhos depurem, avaliem, monitorem e otimizem aplicações de IA com qualidade de produção, controlando custos e gerenciando o acesso a modelos e dados.

Este projeto visa compartilhar princípios técnicos e experiências práticas relacionadas a grandes modelos de linguagem (engenharia de LLM, implementação de aplicações de LLM).

Teste seus prompts, agentes e RAGs. Ferramenta de red teaming, pentesting e varredura de vulnerabilidades para IA. Compare o desempenho de GPT, Claude, Gemini, DeepSeek e outros. Utiliza configurações declarativas simples com integração via linha de comando e CI/CD. Utilizado pela OpenAI e Anthropic.

☁️ Construa aplicações de IA multimodal com uma pilha nativa da nuvem

Depure, avalie e monitore suas aplicações de LLM, sistemas RAG e fluxos de trabalho baseados em agentes com rastreamento abrangente, avaliações automatizadas e painéis prontos para produção.

<⚡️> SuperAGI - Um framework open source de agentes autônomos de IA focado em desenvolvedores. Permite que desenvolvedores construam, gerenciem e executem agentes autônomos úteis de forma rápida e confiável.

SDK Python para framework de observabilidade, monitoramento e avaliação de Agent AI. Inclui recursos como rastreamento de agentes, LLMs e ferramentas, depuração de sistemas multiagentes, painel auto-hospedado e análise avançada com visualização de linha do tempo e gráfico de execução.

Turbine as avaliações da sua aplicação LLM.

Um Gateway de IA ultrarrápido com guardrails integrados. Roteie para mais de 1.600 LLMs, mais de 50 AI Guardrails com 1 API rápida e amigável.

Execute qualquer LLM de código aberto, como DeepSeek e Llama, como um endpoint de API compatível com OpenAI na nuvem.

BISHENG é uma plataforma de DevOps para LLMs aberta voltada para a próxima geração de aplicações de IA corporativa. Recursos poderosos e abrangentes incluem: fluxo de trabalho GenAI, RAG, Agent, gerenciamento unificado de modelos, avaliação, SFT, gerenciamento de conjuntos de dados, gerenciamento de sistemas de nível empresarial, observabilidade e muito mais.

Observabilidade e Avaliação de IA

Construa, gerencie e implante sistemas de IA/ML

A maneira mais fácil de servir aplicativos e modelos de IA - Crie APIs de inferência de modelos, filas de tarefas, aplicativos de LLM, pipelines multimodelo e muito mais!

Construa aplicações de LLM modulares e escaláveis em Rust.

Evidently é um framework de observabilidade de ML e LLM de código aberto. Avalie, teste e monitore qualquer sistema baseado em IA ou pipeline de dados. De dados tabulares a Gen AI. Mais de 100 métricas.

O gateway de IA corporativo mais rápido (50x mais rápido que o LiteLLM) com balanceador de carga adaptativo, modo cluster, guardrails, suporte a mais de 1000 modelos e menos de 100 µs de overhead a 5k RPS.

Observabilidade de código aberto para sua aplicação de GenAI ou LLM, baseada em OpenTelemetry.

Plano é um servidor proxy nativo de IA e plano de dados para aplicativos de agentes. Roteamento inteligente de LLM, observabilidade, orquestração de agentes e guardrails para que você mantenha o foco na lógica central dos seus agentes.

ClearML - CI/CD automático para otimizar seu fluxo de trabalho de IA. Gerenciamento de experimentos, dados, pipelines, orquestração, agendamento e serviço em uma única solução MLOps/LLMOps.

Implante agentes de IA no Google Cloud em minutos, não meses. Modelos prontos para produção com CI/CD, avaliação e observabilidade integrados.

🧊 Plataforma de observabilidade de LLM de código aberto. Uma linha de código para monitorar, avaliar e experimentar. YC W23 🍓

Uma lista incrível e curada das melhores ferramentas de LLMOps para desenvolvedores

🐢 Biblioteca de código aberto para avaliação e teste de agentes de LLM

Plataforma de otimização de agentes de IA de próxima geração: o Cozeloop aborda desafios no desenvolvimento de agentes de IA, oferecendo recursos de gerenciamento de ciclo de vida completo, desde desenvolvimento, depuração e avaliação até monitoramento.

ZenML 🙏: Uma plataforma de IA, desde pipelines até agentes. https://zenml.io.