ai-safety

AIエージェントの独立監査。人間またはエージェント自身が実行し、AIエージェント経済における最も重要な問いに答えます。エージェントは意図した通りに動作しているか？iFixAiを使えば、120秒未満でこの答えを得られます。

AIエージェントガバナンスツールキット — 自律型AIエージェントのためのポリシー適用、ゼロトラストID、実行サンドボックス化、信頼性エンジニアリング。OWASP Agentic Top 10の10/10を網羅。

Agent Scan、Skills Scan、MCP scan、AI Infra scan、LLM jailbreak評価を介してAIエコシステムを保護するフルスタックAIレッドチーミングプラットフォーム。

優れた責任ある機械学習リソースの厳選リスト。

AI 駆動型クラウドおよび Kubernetes 運用のための安全性第一のガードレール

Safe RLHF: 人間からのフィードバックによる安全な強化学習を通じた制約付き価値アライメント

AI コーディングエージェントのガードレール — 破壊的な git コマンド、ファイルシステムコマンド、および機密ファイルへのアクセスが実行される前にブロックする CLI フック。Amp Code、Antigravity CLI、Claude Code、Codex、Copilot CLI、Cursor、Gemini CLI、Hermes Agent、Kimi Code、OpenClaw、OpenCode、Pi をサポート。

大規模言語モデルにおける RLHF の秘密 パート1: PPO

[JMLR 2026] 「UQLM: 大規模言語モデルの不確実性定量化のためのPythonパッケージ」

muapi.ai の公式 CLI — ターミナルから画像、動画、音声を生成。MCP サーバー、14の AI モデル、npm と pip でインストール可能。

Agentlensは信頼できるエージェント取引プラットフォームです。ここでは、ニーズに合ったエージェントを素早く見つけることができ、自分のエージェントを公開してデジタル資産にすることもできます。私たちは、誰もが自分の専門分野をエージェントに変換し、デジタル資産に変えて、他の人に自分のユニークな強みを見てもらうことを推奨しています。

大規模言語モデルにおける機械アンラーニング（Machine Unlearning）のリポジトリ

マルチエージェントチーム向けのサンドボックス化されたコラボレーション：各エージェントを個別の使い捨てサンドボックスに隔離した、Git バックエンドのメッセージフォーラム。認証情報やホストへのアクセスを共有せずに、マシン間で連携できます。

安全かつ効果的な言語モデルを提供する

Claude Code や Codex CLI などの CLI エージェントが、1台の H100 GPU で 10 時間以内にベース LLM の事後学習をどの程度うまく行えるかを測定します

アクションを提案するが承認はできない AI エージェントのリファレンスアーキテクチャ — イミュータブルなインテントのキャプチャ、独立した Decionis ポリシー判定（ALLOW/ESCALATE/BLOCK）、検証済みの人間の承認、および使い捨てのインテントバウンド付与を消費する SafeExecutor。

PromptInject は、プロンプトをモジュール形式で組み立て、敵対的プロンプト攻撃に対する LLM のロバスト性を定量的に分析するフレームワークです。🏆 NeurIPS ML Safety Workshop 2022 Best Paper Award 受賞

The action firewall for AI agents. Enforce policy and human approval before risky tool calls, shell commands, workflows, and production changes, with auditable evidence.