ai-safety

Auditoria independente de agentes de IA. Executada por humanos ou pelo próprio agente para responder à pergunta mais crucial na economia de agentes de IA: o agente está fazendo o que deveria fazer? Com o iFixAi, você obtém essa resposta em menos de 120 segundos.

Toolkit de governança para agentes de IA — aplicação de políticas, identidade zero-trust, sandbox de execução e engenharia de confiabilidade para agentes de IA autônomos. Cobre 10/10 do OWASP Agentic Top 10.

Uma plataforma full-stack de Red Teaming para IA que protege ecossistemas de IA por meio de varredura de agentes, habilidades, MCP, infraestrutura de IA e avaliação de jailbreak de LLM.

Uma lista curada de recursos incríveis sobre aprendizado de máquina responsável.

Guardrails focados em segurança para operações de nuvem e Kubernetes impulsionadas por IA

Safe RLHF: Alinhamento de valor restrito via Aprendizado por Reforço Seguro a partir de Feedback Humano

Um guardrail para agentes de codificação de IA — um hook de CLI que bloqueia comandos destrutivos de git e sistema de arquivos, além de acesso a arquivos secretos antes da execução. Suporta Amp Code, Antigravity CLI, Claude Code, Codex, Copilot CLI, Cursor, Gemini CLI, Hermes Agent, Kimi Code, OpenClaw, OpenCode e Pi.

Segredos do RLHF em Large Language Models Parte I: PPO.

[JMLR 2026] "UQLM: Um pacote Python para quantificação de incerteza em grandes modelos de linguagem"

CLI oficial para muapi.ai — gere imagens, vídeos e áudio a partir do terminal. Servidor MCP, 14 modelos de IA, instalável via npm e pip.

O Agentlens é uma plataforma de negociação de agentes confiável. Aqui, você pode encontrar rapidamente o Agente que atende às suas necessidades e também publicar seu próprio Agente para transformá-lo em seu ativo digital. Encorajamos todos a transformar suas áreas de expertise em Agentes e convertê-los em ativos digitais, permitindo que outros vejam seus pontos fortes exclusivos.

Um repositório de recursos para machine unlearning em grandes modelos de linguagem

Colaboração em sandbox para equipes multiagentes: um fórum de mensagens baseado em Git, onde cada agente é isolado em sua própria sandbox descartável. Transforme um repositório Git em um fórum de mensagens seguro para agentes de IA.

Forneça modelos de linguagem seguros e eficazes

Mede quão bem agentes de CLI como Claude Code ou Codex CLI conseguem pós-treinar LLMs base em uma única GPU H100 em 10 horas

Arquitetura de referência para agentes de IA que propõem ações, mas não podem autorizá-las — captura de intenção imutável, um veredito de política Decionis independente (ALLOW/ESCALATE/BLOCK), aprovação humana verificada e um SafeExecutor que consome uma concessão de uso único vinculada à intenção.

PromptInject é um framework que monta prompts de forma modular para fornecer uma análise quantitativa da robustez de LLMs contra ataques de prompt adversarial. 🏆 Prêmio de Melhor Artigo no NeurIPS ML Safety Workshop 2022

The action firewall for AI agents. Enforce policy and human approval before risky tool calls, shell commands, workflows, and production changes, with auditable evidence.