evals

Mastra es el framework moderno de TypeScript para aplicaciones y agentes impulsados por IA.

Observabilidad y evaluación de IA

SDK de Python para la monitorización de agentes de IA, seguimiento de costes de LLM, pruebas comparativas y más. Se integra con la mayoría de LLMs y frameworks de agentes, incluidos CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2 y CamelAI.

Construye, evalúa y optimiza sistemas de IA. Incluye evaluaciones, RAG, agentes, ajuste fino, generación de datos sintéticos, gestión de conjuntos de datos, MCP y más.

Framework para evaluar y mejorar agentes

Plataforma de observabilidad de IA para sistemas LLM y de agentes en producción.

Evaluación y seguimiento para experimentos de LLM y agentes de IA

Laminar: plataforma de observabilidad de código abierto diseñada específicamente para agentes de IA. YC S24.

Guía de diseño de sistemas de IA para ingenieros que construyen sistemas de IA de producción y evaluaciones.

Convierte cualquier flujo de trabajo en habilidades de agente de IA reutilizables que se instalan en 17 plataformas: Claude Code, Copilot, Cursor, Windsurf, Codex, Gemini, Kiro y más. Un solo SKILL.md para todas las plataformas.

Plataforma de pruebas y evaluación para chatear, inspeccionar y depurar servidores MCP, aplicaciones MCP y aplicaciones de ChatGPT.

Observabilidad y cumplimiento para entornos de agentes de IA. Captura cada ejecución y la fiabilidad en tiempo de ejecución con políticas de cumplimiento. Incluye 40 políticas integradas, un panel local y no requiere cuenta, con un generoso plan gratuito en la nube.

Evalúa tus aplicaciones basadas en LLM con TypeScript.

Waku Waku! Waku Agent es un entorno de agentes de IA local-first que realmente posees, incluyendo bucles, memoria y evaluación, todo en un código diseñado para mantenerse legible a medida que crece.

Servicio al cliente de código abierto listo para producción con Evals y monitoreo incorporados

🥤 RAGLite es un kit de herramientas de Python para generación aumentada por recuperación (RAG) con DuckDB o PostgreSQL

CI/CD nativo de trazas para agentes de IA: los fallos en producción se convierten en pruebas de regresión que bloquean el PR. Detección automática, agrupación, congelación en casos herméticos y reproducción en CI a costo cero.

Construye sistemas de agentes. Ejecútalos con confianza. Orquesta agentes, automatiza procesos de negocio, inspecciona cada ejecución y mantén el control humano. Despliega Heym en tu propia infraestructura.

Low-level agentic design patterns. Turning old engineering wisdom into reflexes your agent reaches for on its own—on any agent.

Un creador de habilidades que verifica su funcionamiento. Creación de habilidades basada en evidencia para Claude Code y Codex: generación probada, evaluaciones de regresión por habilidad, diagnóstico del ecosistema, compilación multiplataforma y asesor proactivo opcional.

Una biblioteca curada y sin rodeos con los mejores recursos para construir y evaluar agentes de IA: artículos, blogs, charlas, herramientas y benchmarks. Mantenida por BenchFlow.

Hands-on, framework-free Colab notebooks for the AI Engineer / Forward Deployed Engineer (FDE) skill set — model APIs, structured output, tool calling, RAG, evals-as-the-spine, agents (loop from scratch, tool design, guardrails, MCP, Skills), fine-tuning vs LoRA, prompt-injection/security, LLMOps, and customer craft. Runs on the free Groq API.