evals

Mastra é o framework TypeScript moderno para aplicações e agentes movidos a IA.

Observabilidade e Avaliação de IA

Python SDK para monitoramento de agentes de IA, rastreamento de custos de LLM, benchmarking e muito mais. Integra-se com a maioria das LLMs e frameworks de agentes, incluindo CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2 e CamelAI

Construa, avalie e otimize sistemas de IA. Inclui avaliações, RAG, agentes, ajuste fino, geração de dados sintéticos, gerenciamento de conjuntos de dados, MCP e muito mais.

Framework para avaliação e aprimoramento de agentes

Plataforma de observabilidade de IA para sistemas de LLM e agentes em produção.

Avaliação e rastreamento para experimentos de LLM e agentes de IA.

Laminar - plataforma de observabilidade de código aberto criada especificamente para agentes de IA. YC S24.

Guia de design de sistemas de IA para engenheiros que constroem sistemas de IA em produção e avaliações.

Transforme qualquer fluxo de trabalho em habilidades de agente de IA reutilizáveis que podem ser instaladas em 17 plataformas — Claude Code, Copilot, Cursor, Windsurf, Codex, Gemini, Kiro e mais. Um único SKILL.md para todas as plataformas.

Plataforma de teste e avaliação para conversar, inspecionar e depurar servidores MCP, aplicativos MCP e aplicativos ChatGPT.

Observabilidade e aplicação de políticas para harnesses de agentes de IA. Capture cada execução e a confiabilidade em tempo de execução com aplicação de políticas. 40 políticas integradas, um painel local, sem necessidade de conta e com um plano em nuvem gratuito generoso.

Avalie suas aplicações baseadas em LLM com TypeScript.

Waku Waku! Waku Agent é um framework de agente de IA local que você realmente possui, incluindo loop, memória e avaliação, tudo em código construído para permanecer legível à medida que cresce.

Atendimento ao cliente de código aberto pronto para produção com avaliações e monitoramento integrados

🥤 RAGLite é um kit de ferramentas Python para Geração Aumentada por Recuperação (RAG) com DuckDB ou PostgreSQL

CI/CD nativo de rastreamento para agentes de IA — falhas de produção tornam-se testes de regressão que bloqueiam o PR. Detecte automaticamente, agrupe, congele em casos herméticos e reproduza em CI por custo zero.

Construa sistemas de agentes. Execute-os com confiança. Orquestre agentes, automatize processos de negócios, inspecione cada execução e mantenha os humanos no controle. Implante o Heym em sua própria infraestrutura.

Low-level agentic design patterns. Turning old engineering wisdom into reflexes your agent reaches for on its own—on any agent.

Um criador de habilidades que comprova o funcionamento delas. Criação de habilidades orientada a evidências para Claude Code e Codex: geração testada por linha de base, avaliações de regressão por habilidade, médico de ecossistema, compilação em tempo de execução cruzada e um consultor proativo opcional.

Uma biblioteca curada e direta dos melhores recursos para construir e avaliar agentes de IA — artigos, blogs, palestras, ferramentas e benchmarks. Mantida pela BenchFlow.

Hands-on, framework-free Colab notebooks for the AI Engineer / Forward Deployed Engineer (FDE) skill set — model APIs, structured output, tool calling, RAG, evals-as-the-spine, agents (loop from scratch, tool design, guardrails, MCP, Skills), fine-tuning vs LoRA, prompt-injection/security, LLMOps, and customer craft. Runs on the free Groq API.