ai-safety

Kiểm toán độc lập các AI Agent. Được vận hành bởi con người hoặc chính tác nhân, để trả lời câu hỏi quan trọng nhất trong Nền kinh tế AI Agent. Tác nhân có đang làm đúng những gì nó phải làm không? Với iFixAi, bạn có thể nhận được câu trả lời này trong vòng chưa đầy 120 giây.

Bộ công cụ quản trị AI Agent — Thực thi chính sách, định danh zero-trust, sandbox thực thi và kỹ thuật độ tin cậy cho các tác nhân AI tự động. Bao gồm 10/10 OWASP Agentic Top 10.

Nền tảng AI Red Teaming toàn diện giúp bảo mật hệ sinh thái AI thông qua Agent Scan, Skills Scan, MCP scan, AI Infra scan và đánh giá LLM jailbreak.

Danh sách tổng hợp các tài nguyên học máy có trách nhiệm tuyệt vời.

Hàng rào bảo vệ an toàn ưu tiên cho các hoạt động đám mây và Kubernetes được thúc đẩy bởi AI

Safe RLHF: Căn chỉnh giá trị có ràng buộc thông qua Học tăng cường an toàn từ phản hồi của con người

Một cơ chế bảo vệ cho AI coding agent — CLI hook giúp chặn các lệnh git và hệ thống tệp mang tính phá hoại cũng như quyền truy cập tệp tin bí mật trước khi thực thi. Hỗ trợ Amp Code, Antigravity CLI, Claude Code, Codex, Copilot CLI, Cursor, Gemini CLI, Hermes Agent, Kimi Code, OpenClaw, OpenCode và Pi.

Bí mật của RLHF trong Large Language Models Phần I: PPO

[JMLR 2026] "UQLM: Gói Python để định lượng độ bất định trong các Mô hình Ngôn ngữ Lớn"

CLI chính thức cho muapi.ai — tạo hình ảnh, video và âm thanh từ terminal. Hỗ trợ máy chủ MCP, 14 mô hình AI, có thể cài đặt qua npm và pip.

Agentlens là một nền tảng giao dịch đại lý đáng tin cậy. Tại đây, bạn có thể nhanh chóng tìm thấy Agent đáp ứng nhu cầu của mình và cũng có thể xuất bản Agent của riêng bạn để biến nó thành tài sản kỹ thuật số. Chúng tôi khuyến khích mọi người chuyển đổi các lĩnh vực chuyên môn của họ thành Agent và biến chúng thành tài sản kỹ thuật số, cho phép người khác thấy được thế mạnh độc đáo của bạn.

Cộng tác trong môi trường sandbox cho các nhóm đa tác nhân: diễn đàn tin nhắn dựa trên Git với mỗi tác nhân được cô lập trong sandbox riêng. Biến kho lưu trữ Git thành diễn đàn bảo mật cho các tác nhân AI.

Kho lưu trữ tài nguyên về machine unlearning trong các mô hình ngôn ngữ lớn

Cung cấp các mô hình ngôn ngữ an toàn và hiệu quả.

Đo lường khả năng của các CLI agent như Claude Code hoặc Codex CLI trong việc hậu huấn luyện các LLM cơ sở trên một GPU H100 trong 10 giờ

Kiến trúc tham chiếu cho các tác nhân AI đề xuất hành động nhưng không có quyền ủy quyền — bao gồm ghi lại ý định bất biến, quyết định chính sách Decionis độc lập (CHO PHÉP/NÂNG CẤP/CHẶN), phê duyệt của con người đã xác minh và SafeExecutor tiêu thụ quyền truy cập ràng buộc ý định sử dụng một lần.

PromptInject là một framework lắp ráp các prompt theo mô-đun để cung cấp phân tích định lượng về khả năng chống chịu của LLM trước các cuộc tấn công prompt đối nghịch. 🏆 Giải thưởng bài báo xuất sắc nhất tại NeurIPS ML Safety Workshop 2022

The action firewall for AI agents. Enforce policy and human approval before risky tool calls, shell commands, workflows, and production changes, with auditable evidence.