ai-safety

Audit independen untuk AI Agent. Dijalankan oleh manusia atau agen itu sendiri untuk menjawab pertanyaan paling krusial dalam Ekonomi AI Agent: Apakah agen melakukan apa yang seharusnya dilakukan? Dengan iFixAi, Anda bisa mendapatkan jawabannya dalam waktu kurang dari 120 detik.

AI Agent Governance Toolkit — Penegakan kebijakan, identitas zero-trust, sandboxing eksekusi, dan rekayasa keandalan untuk agen AI otonom. Mencakup 10/10 OWASP Agentic Top 10.

Platform AI Red Teaming full-stack untuk mengamankan ekosistem AI melalui Agent Scan, Skills Scan, MCP scan, AI Infra scan, dan evaluasi jailbreak LLM.

Daftar kurasi sumber daya machine learning yang bertanggung jawab.

Pengaman yang mengutamakan keselamatan untuk operasi cloud dan Kubernetes yang digerakkan oleh AI

Safe RLHF: Penyelarasan Nilai Terbatas melalui Safe Reinforcement Learning from Human Feedback

Pengaman agen pengkodean AI — kait CLI yang memblokir perintah git dan sistem file yang destruktif serta akses file rahasia sebelum dieksekusi. Mendukung Amp Code, Antigravity CLI, Claude Code, Codex, Copilot CLI, Cursor, Gemini CLI, Hermes Agent, Kimi Code, OpenClaw, OpenCode, dan Pi.

Rahasia RLHF pada Large Language Models Bagian I: PPO

[JMLR 2026] "UQLM: Paket Python untuk Kuantifikasi Ketidakpastian dalam Large Language Models"

CLI resmi untuk muapi.ai — menghasilkan gambar, video, & audio dari terminal. Mendukung server MCP, 14 model AI, serta dapat diinstal via npm dan pip.

Agentlens adalah platform trading agen tepercaya. Di sini, Anda dapat dengan cepat menemukan Agen yang memenuhi kebutuhan Anda, serta memublikasikan Agen Anda sendiri untuk mengubahnya menjadi aset digital. Kami mendorong semua orang untuk mengubah keahlian mereka menjadi Agen dan aset digital agar orang lain dapat melihat keunggulan unik Anda.

Kolaborasi tersandbox untuk tim multi-agen: forum pesan berbasis Git dengan setiap agen diisolasi dalam sandbox sekali pakai. Ubah repositori Git menjadi forum pesan yang aman untuk agen AI.

Repositori sumber daya untuk machine unlearning pada model bahasa besar (large language models)

Menghadirkan model bahasa yang aman & efektif

Mengukur seberapa baik agen CLI seperti Claude Code atau Codex CLI dapat melatih ulang base LLM pada satu GPU H100 dalam 10 jam

Arsitektur referensi untuk agen AI yang mengusulkan tindakan tetapi tidak dapat mengotorisasinya — pengambilan intent yang tidak dapat diubah, putusan kebijakan Decionis independen (ALLOW/ESCALATE/BLOCK), persetujuan manusia yang diverifikasi, dan SafeExecutor yang menggunakan izin terikat intent sekali pakai.

PromptInject adalah kerangka kerja yang merakit prompt secara modular untuk memberikan analisis kuantitatif tentang ketahanan LLM terhadap serangan prompt adversarial. 🏆 Penghargaan Makalah Terbaik @ NeurIPS ML Safety Workshop 2022

The action firewall for AI agents. Enforce policy and human approval before risky tool calls, shell commands, workflows, and production changes, with auditable evidence.