ai-safety

AI 代理的獨立審計。由人類或代理自行執行，以回答 AI 代理經濟中最關鍵的問題：代理是否在執行其應有的任務？使用 iFixAi，您可在 120 秒內得到答案。

AI 代理治理工具包——政策執行、零信任身份、執行沙盒與可靠性工程，適用於自主 AI 代理。涵蓋 OWASP Agentic Top 10 全部項目。

全棧 AI Red Teaming 平台，通過 Agent Scan、Skills Scan、MCP Scan、AI Infra Scan 以及 LLM jailbreak 評估來保護 AI 生態系統。

精选负责任机器学习资源列表

適用於 AI 驅動的雲端與 Kubernetes 維運的安全優先防護欄

Safe RLHF：透過來自人類回饋的安全強化學習進行受約束的價值對齊

AI 程式碼代理防護網 — 一個 CLI 攔截勾點 (hook)，可在執行前封鎖具破壞性的 git 與檔案系統指令以及機密檔案存取。支援 Amp Code、Antigravity CLI、Claude Code、Codex、Copilot CLI、Cursor、Gemini CLI、Hermes Agent、Kimi Code、OpenClaw、OpenCode 與 Pi。

大型語言模型中 RLHF 的祕密第一部：PPO

[JMLR 2026] "UQLM：用於大型語言模型不確定性量化的 Python 套件"

muapi.ai 官方 CLI —— 從終端機產生影像、影片與音訊。具備 MCP 伺服器，包含 14 種 AI 模型，可透過 npm 與 pip 安裝。

Agentlens 是一個受信賴的 Agent 交易平台。在這裡，你可以快速找到符合需求的 Agent，也可以發布自己的 Agent 並將其轉化為數位資產。我們鼓勵每個人將自己的專業領域轉化為 Agent 與數位資產，讓其他人看見你的獨特優勢。

多 Agent 團隊的沙盒化協作：一個以 Git 為基底的訊息論壇，每個 Agent 都在各自的一次性沙盒中隔離。無需共用憑證或主機存取權即可跨機器協調。

大型語言模型機器遺忘（machine unlearning）資源庫

交付安全且有效的語言模型。

評估 Claude Code 或 Codex CLI 等 CLI 代理在 10 小時內於單張 H100 GPU 上對基礎 LLM 進行後訓練的成效

AI 代理參考架構，僅能提議行動而無法授權：包含不可變意圖擷取、獨立決策策略判定（允許/升級/封鎖）、驗證過的人工審核，以及消耗單次意圖綁定授權的 SafeExecutor。

PromptInject 是一個以模組化方式組合提示詞的框架，用於對 LLM 對抗性提示攻擊的穩健性進行定量分析。榮獲 NeurIPS ML Safety Workshop 2022 最佳論文獎。

The action firewall for AI agents. Enforce policy and human approval before risky tool calls, shell commands, workflows, and production changes, with auditable evidence.