ai-safety

Audit indépendant d'agents IA. Exécuté par un humain ou par l'agent lui-même pour répondre à la question cruciale de l'économie des agents IA : l'agent fait-il ce qu'il est censé faire ? Avec iFixAi, obtenez cette réponse en moins de 120 secondes.

Boîte à outils de gouvernance pour agents IA : application de politiques, identité zéro confiance, bac à sable d'exécution et ingénierie de fiabilité. Couvre les 10 points du classement OWASP Agentic Top 10.

Une plateforme complète de Red Teaming pour l'IA, sécurisant les écosystèmes d'IA via l'analyse d'agents, de compétences, de MCP, d'infrastructures IA et l'évaluation de jailbreak LLM.

Une liste organisée de ressources exceptionnelles sur l'apprentissage automatique responsable.

Gardes-fous axés sur la sécurité pour les opérations cloud et Kubernetes pilotées par l'IA.

Safe RLHF : Alignement de valeur contraint via l'apprentissage par renforcement sécurisé à partir de la rétroaction humaine

Un garde-fou pour agent de codage IA — un hook CLI qui bloque les commandes git et système de fichiers destructrices ainsi que l'accès aux fichiers secrets avant leur exécution. Prend en charge Amp Code, Antigravity CLI, Claude Code, Codex, Copilot CLI, Cursor, Gemini CLI, Hermes Agent, Kimi Code, OpenClaw, OpenCode et Pi.

Secrets du RLHF dans les grands modèles de langage, partie I : PPO

[JMLR 2026] « UQLM : un package Python pour la quantification de l'incertitude dans les grands modèles de langage ».

CLI officiel pour muapi.ai — générez des images, vidéos et audios depuis le terminal. Serveur MCP, 14 modèles d'IA, installable via npm et pip.

Agentlens est une plateforme de trading d'agents de confiance. Vous pouvez y trouver rapidement l'agent qui répond à vos besoins et publier le vôtre pour en faire un actif numérique. Nous encourageons chacun à transformer ses domaines d'expertise en agents et en actifs numériques, permettant aux autres de découvrir vos forces uniques.

Collaboration en bac à sable pour équipes multi-agents : un forum de discussion basé sur Git, où chaque agent est isolé dans son propre environnement éphémère. Transformez un dépôt Git en un forum sécurisé pour agents IA.

Un dépôt de ressources pour le désapprentissage automatique dans les grands modèles de langage

Fournir des modèles de langage sûrs et efficaces

Mesurer la capacité des agents CLI tels que Claude Code ou Codex CLI à effectuer le post-entraînement de LLMs de base sur un seul GPU H100 en 10 heures

Architecture de référence pour agents IA proposant des actions sans autorisation directe : capture d'intention immuable, verdict de politique de décision indépendant (AUTORISER/ESCALADER/BLOQUER), approbation humaine vérifiée et SafeExecutor consommant une autorisation liée à une intention à usage unique.

PromptInject est un framework modulaire d'assemblage de prompts permettant une analyse quantitative de la robustesse des LLM face aux attaques par injection. 🏆 Prix du meilleur article au NeurIPS ML Safety Workshop 2022.

The action firewall for AI agents. Enforce policy and human approval before risky tool calls, shell commands, workflows, and production changes, with auditable evidence.