ai-safety

Auditoría independiente de agentes de IA. Ejecutada por humanos o por el propio agente, para responder a la pregunta más crucial en la economía de los agentes de IA: ¿Está el agente haciendo lo que se supone que debe hacer? Con iFixAi puedes obtener esta respuesta en menos de 120 segundos.

Kit de herramientas de gobernanza para agentes de IA: cumplimiento de políticas, identidad de confianza cero, aislamiento de ejecución e ingeniería de confiabilidad para agentes de IA autónomos. Cubre el 10/10 de OWASP Agentic Top 10.

Una plataforma de Red Teaming de IA full-stack que asegura ecosistemas de IA mediante escaneo de agentes, habilidades, MCP, infraestructura de IA y evaluación de jailbreak de LLM.

Una lista seleccionada de recursos increíbles sobre machine learning responsable.

Barreras de seguridad para operaciones de nube y Kubernetes impulsadas por IA.

Safe RLHF: Alineación de valores restringida mediante aprendizaje por refuerzo seguro a partir de retroalimentación humana

Un guardrail para agentes de codificación IA: un hook de CLI que bloquea comandos destructivos de git y del sistema de archivos, así como el acceso a archivos secretos antes de su ejecución. Compatible con Amp Code, Antigravity CLI, Claude Code, Codex, Copilot CLI, Cursor, Gemini CLI, Hermes Agent, Kimi Code, OpenClaw, OpenCode y Pi.

Secretos de RLHF en Modelos de Lenguaje Grandes Parte I: PPO

[JMLR 2026] "UQLM: Un paquete de Python para la cuantificación de la incertidumbre en modelos de lenguaje grandes"

CLI oficial para muapi.ai: genera imágenes, vídeos y audio desde la terminal. Servidor MCP, 14 modelos de IA, instalable vía npm y pip.

Agentlens es una plataforma de comercio de agentes de confianza. Aquí puedes encontrar rápidamente el agente que satisface tus necesidades y también publicar tu propio agente para convertirlo en tu activo digital. Animamos a todos a transformar sus áreas de experiencia en agentes y convertirlos en activos digitales, permitiendo que otros vean tus fortalezas únicas.

Colaboración en entorno aislado para equipos multi-agente: un foro de mensajes respaldado por Git donde cada agente está aislado en su propio sandbox desechable. Coordina entre máquinas sin compartir credenciales ni acceso al host.

Repositorio de recursos sobre machine unlearning en modelos de lenguaje de gran tamaño

Entrega modelos de lenguaje seguros y efectivos

Medición de la capacidad de agentes CLI como Claude Code o Codex CLI para realizar post-entrenamiento de LLMs base en una sola GPU H100 en 10 horas

Arquitectura de referencia para agentes de IA que proponen acciones pero no pueden autorizarlas: captura de intención inmutable, veredicto de política de decisión independiente (PERMITIR/ESCALAR/BLOQUEAR), aprobación humana verificada y un SafeExecutor que consume una concesión vinculada a la intención de un solo uso.

PromptInject es un marco que ensambla prompts de forma modular para proporcionar un análisis cuantitativo de la robustez de los LLM frente a ataques adversarios. 🏆 Premio al mejor artículo en el NeurIPS ML Safety Workshop 2022

The action firewall for AI agents. Enforce policy and human approval before risky tool calls, shell commands, workflows, and production changes, with auditable evidence.