ai-safety

Unabhängige Prüfung von KI-Agenten. Ausgeführt von Menschen oder dem Agenten selbst, um die wichtigste Frage in der KI-Agenten-Wirtschaft zu beantworten: Tut der Agent das, was er tun soll? Mit iFixAi erhalten Sie diese Antwort in weniger als 120 Sekunden.

KI-Agenten-Governance-Toolkit – Durchsetzung von Richtlinien, Zero-Trust-Identität, Ausführungssandboxing und Zuverlässigkeitstechnik für autonome KI-Agenten. Deckt 10/10 OWASP Agentic Top 10 ab.

Eine Full-Stack-KI-Red-Teaming-Plattform zur Sicherung von KI-Ökosystemen über Agent Scan, Skills Scan, MCP Scan, AI Infra Scan und LLM-Jailbreak-Evaluierung.

Eine kuratierte Liste fantastischer Ressourcen für verantwortungsvolles maschinelles Lernen.

Sicherheitsorientierte Leitplanken für KI-gesteuerte Cloud- und Kubernetes-Operationen

Safe RLHF: Restriktive Werteausrichtung durch sicheres Reinforcement Learning aus menschlichem Feedback

Ein Schutzmechanismus für KI-Coding-Agenten – ein CLI-Hook, der destruktive Git- und Dateisystembefehle sowie den Zugriff auf Geheimdateien vor der Ausführung blockiert. Unterstützt Amp Code, Antigravity CLI, Claude Code, Codex, Copilot CLI, Cursor, Gemini CLI, Hermes Agent, Kimi Code, OpenClaw, OpenCode und Pi.

Geheimnisse von RLHF in Large Language Models Teil I: PPO

[JMLR 2026] „UQLM: Ein Python-Paket zur Quantifizierung von Unsicherheiten in Large Language Models“

Offizielle CLI für muapi.ai — Generieren Sie Bilder, Videos und Audio über das Terminal. MCP-Server, 14 KI-Modelle, über npm + pip installierbar.

Agentlens ist eine vertrauenswürdige Agent-Handelsplattform. Hier können Sie schnell den Agenten finden, der Ihren Anforderungen entspricht, und Ihren eigenen Agenten veröffentlichen, um ihn in ein digitales Asset zu verwandeln. Wir ermutigen jeden, seine Fachgebiete in Agenten und digitale Assets umzuwandeln, damit andere Ihre einzigartigen Stärken sehen können.

Ein Ressourcen-Repository für Machine Unlearning in Large Language Models

Sandkastenbasierte Zusammenarbeit für Multi-Agenten-Teams: ein Git-basiertes Nachrichtenforum, bei dem jeder Agent in seinem eigenen Einweg-Sandbox isoliert ist. Verwandelt ein Git-Repository in ein sicheres Nachrichtenforum für KI-Agenten.

Bereitstellung sicherer und effektiver Sprachmodelle.

Messung, wie gut CLI-Agenten wie Claude Code oder Codex CLI Basis-LLMs auf einer einzelnen H100 GPU in 10 Stunden nachtrainieren können.

Referenzarchitektur für KI-Agenten, die Aktionen vorschlagen, diese jedoch nicht autorisieren können – umfasst unveränderliche Intent-Erfassung, eine unabhängige Entscheidungsrichtlinie (ALLOW/ESCALATE/BLOCK), verifizierte menschliche Freigabe und einen SafeExecutor, der eine einmalige, an den Intent gebundene Berechtigung verarbeitet

PromptInject ist ein Framework, das Prompts modular zusammenstellt, um die Robustheit von LLMs gegenüber adversariellen Angriffen quantitativ zu analysieren. Ausgezeichnet mit dem Best Paper Award auf dem NeurIPS ML Safety Workshop 2022

The action firewall for AI agents. Enforce policy and human approval before risky tool calls, shell commands, workflows, and production changes, with auditable evidence.