ai-safety

AI एजेंटों की स्वतंत्र ऑडिटिंग। मानव या एजेंट द्वारा स्वयं संचालित, AI एजेंट अर्थव्यवस्था में सबसे महत्वपूर्ण प्रश्न का उत्तर देने के लिए। क्या एजेंट वही कर रहा है जो उसे करना चाहिए? iFixAi के साथ आप 120 सेकंड से कम समय में यह उत्तर पा सकते हैं।

AI एजेंट गवर्नेंस टूलकिट — ऑटोनॉमस AI एजेंट्स के लिए पॉलिसी एन्फोर्समेंट, जीरो-ट्रस्ट आइडेंटिटी, एग्जीक्यूशन सैंडबॉक्सिंग और रिलायबिलिटी इंजीनियरिंग। 10/10 OWASP एजेंटिक टॉप 10 को कवर करता है।

Agent Scan, Skills Scan, MCP scan, AI Infra scan और LLM jailbreak evaluation के माध्यम से AI इकोसिस्टम को सुरक्षित करने वाला एक फुल-स्टैक AI रेड टीमिंग प्लेटफॉर्म।

शानदार जिम्मेदार मशीन लर्निंग संसाधनों की एक क्यूरेटेड सूची।

AI-संचालित क्लाउड और Kubernetes संचालन के लिए सुरक्षा-प्रथम गार्डरेल्स

Safe RLHF: Safe Reinforcement Learning from Human Feedback के माध्यम से प्रतिबंधित वैल्यू एलाइनमेंट

एक AI कोडिंग एजेंट गार्डरेल — एक CLI हुक जो निष्पादित होने से पहले विनाशकारी git और फ़ाइल सिस्टम कमांड और गुप्त फ़ाइल तक पहुँच को ब्लॉक करता है। Amp Code, Antigravity CLI, Claude Code, Codex, Copilot CLI, Cursor, Gemini CLI, Hermes Agent, Kimi Code, OpenClaw, OpenCode, और Pi का समर्थन करता है।

लार्ज लैंग्वेज मॉडल में RLHF के रहस्य भाग I: PPO

[JMLR 2026] "UQLM: लार्ज लैंग्वेज मॉडल में अनिश्चितता मात्रा निर्धारण के लिए एक Python पैकेज"

muapi.ai के लिए आधिकारिक CLI — टर्मिनल से इमेज, वीडियो और ऑडियो जनरेट करें। MCP सर्वर, 14 AI मॉडल, npm और pip के माध्यम से इंस्टॉल करने योग्य।

Agentlens एक विश्वसनीय एजेंट ट्रेडिंग प्लेटफॉर्म है। यहाँ आप अपनी ज़रूरतों के अनुसार एजेंट ढूंढ सकते हैं और अपने एजेंट को डिजिटल संपत्ति में बदलने के लिए प्रकाशित भी कर सकते हैं। हम सभी को अपनी विशेषज्ञता को एजेंटों में बदलने और उन्हें डिजिटल संपत्ति बनाने के लिए प्रोत्साहित करते हैं।

मल्टी-एजेंट टीमों के लिए सैंडबॉक्स्ड सहयोग: Git-समर्थित संदेश फ़ोरम जहाँ प्रत्येक एजेंट अपने स्वयं के डिस्पोजेबल सैंडबॉक्स में अलग-थलग होता है। Git रिपॉजिटरी को AI एजेंटों के लिए एक सुरक्षित संदेश फ़ोरम में बदलें।

Large Language Models में मशीन अनलर्निंग के लिए एक संसाधन रिपॉजिटरी

सुरक्षित और प्रभावी language models डिलीवर करें

यह मापना कि Claude Code या Codex CLI जैसे CLI एजेंट 10 घंटों में एक H100 GPU पर बेस LLMs को कितनी अच्छी तरह पोस्ट-ट्रेन कर सकते हैं

AI एजेंटों के लिए संदर्भ आर्किटेक्चर जो क्रियाओं का प्रस्ताव देते हैं लेकिन उन्हें अधिकृत नहीं कर सकते — अपरिवर्तनीय इंटेंट कैप्चर, एक स्वतंत्र निर्णय नीति निर्णय (ALLOW/ESCALATE/BLOCK), सत्यापित मानवीय अनुमोदन, और एक SafeExecutor जो एकल-उपयोग इंटेंट-बाउंड ग्रांट का उपयोग करता है।

PromptInject एक ऐसा फ्रेमवर्क है जो एडवरसेरियल प्रॉम्प्ट हमलों के लिए LLMs की मजबूती का मात्रात्मक विश्लेषण प्रदान करने के लिए मॉड्यूलर तरीके से प्रॉम्प्ट को इकट्ठा करता है। 🏆 बेस्ट पेपर अवार्ड्स @ NeurIPS ML सेफ्टी वर्कशॉप 2022

The action firewall for AI agents. Enforce policy and human approval before risky tool calls, shell commands, workflows, and production changes, with auditable evidence.