evals

Mastra AI-संचालित अनुप्रयोगों और एजेंटों के लिए आधुनिक TypeScript फ्रेमवर्क है।

AI ऑब्सर्बेबिलिटी और मूल्यांकन

AI एजेंट मॉनिटरिंग, LLM कॉस्ट ट्रैकिंग, बेंचमार्किंग और बहुत कुछ के लिए Python SDK। CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2, और CamelAI सहित अधिकांश LLMs और एजेंट फ्रेमवर्क के साथ एकीकृत होता है

AI सिस्टम बनाएं, मूल्यांकन करें और अनुकूलित करें। इसमें मूल्यांकन, RAG, एजेंट, फाइन-ट्यूनिंग, सिंथेटिक डेटा जनरेशन, डेटासेट प्रबंधन, MCP और बहुत कुछ शामिल है।

एजेंटों का मूल्यांकन और सुधार करने के लिए फ्रेमवर्क

प्रोडक्शन LLM और एजेंट सिस्टम के लिए AI ऑब्सर्वेबिलिटी प्लेटफ़ॉर्म।

LLM प्रयोगों और AI एजेंटों के लिए मूल्यांकन और ट्रैकिंग

Laminar - AI एजेंट्स के लिए विशेष रूप से निर्मित ओपन-सोर्स ऑब्जर्वेबिलिटी प्लेटफॉर्म। YC S24।

प्रोडक्शन AI सिस्टम और इval बनाने वाले इंजीनियरों के लिए AI सिस्टम डिज़ाइन गाइड।

किसी भी वर्कफ़्लो को पुन: प्रयोज्य AI एजेंट स्किल्स में बदलें जो 17 प्लेटफॉर्म पर इंस्टॉल हो सकें — जैसे Claude Code, Copilot, Cursor, Windsurf, Codex, Gemini, Kiro आदि। एक SKILL.md, हर प्लेटफॉर्म के लिए।

MCP सर्वर, MCP ऐप्स और ChatGPT ऐप्स को चैट, निरीक्षण और डिबग करने के लिए परीक्षण और मूल्यांकन प्लेटफ़ॉर्म।

AI एजेंट हार्नेस के लिए ऑब्जर्वेबिलिटी और एन्फोर्समेंट। पॉलिसी एन्फोर्समेंट के साथ हर रन और रनटाइम विश्वसनीयता को कैप्चर करें। 40 इन-बिल्ट पॉलिसी, एक लोकल डैशबोर्ड, एक उदार मुफ्त क्लाउड प्लान के साथ किसी खाते की आवश्यकता नहीं है

TypeScript के साथ अपने LLM-संचालित ऐप्स का मूल्यांकन करें

Waku Waku! Waku Agent एक स्थानीय-प्रथम AI एजेंट हार्नेस है जिसके आप वास्तव में मालिक हैं, जिसमें लूप, मेमोरी, इval शामिल हैं, यह सब कोड में बनाया गया है ताकि बढ़ने पर भी स्पष्ट रहे।

बिल्ट-इन Evals और मॉनिटरिंग के साथ ओपन-सोर्स प्रोडक्शन के लिए तैयार कस्टमर सर्विस

🥤 RAGLite, DuckDB या PostgreSQL के साथ रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) के लिए एक Python टूलकिट है

AI एजेंट्स के लिए ट्रेस-नेटिव CI/CD — प्रोडक्शन की विफलताएं रिग्रेशन टेस्ट बन जाती हैं जो PR को ब्लॉक करती हैं। स्वचालित रूप से पता लगाएं, क्लस्टर करें, हर्मेटिक केस में फ्रीज करें और $0 में CI में रिप्ले करें।

एजेंटिक सिस्टम बनाएं। उन्हें आत्मविश्वास के साथ चलाएं। एजेंटों को व्यवस्थित करें, व्यावसायिक प्रक्रियाओं को स्वचालित करें, प्रत्येक निष्पादन का निरीक्षण करें और मनुष्यों को नियंत्रण में रखें। Heym को अपने स्वयं के इंफ्रास्ट्रक्चर पर तैनात करें।

Low-level agentic design patterns. Turning old engineering wisdom into reflexes your agent reaches for on its own—on any agent.

एक स्किल क्रिएटर जो अपनी कार्यक्षमता साबित करता है। Claude Code और Codex के लिए साक्ष्य-आधारित स्किल क्रिएशन: बेसलाइन-टेस्टेड जनरेशन, प्रति-स्किल रिग्रेशन मूल्यांकन, इकोसिस्टम डॉक्टर, क्रॉस-रनटाइम कंपाइल और एक ऑप्ट-इन प्रोएक्टिव एडवाइजर।

AI एजेंटों के निर्माण और मूल्यांकन के लिए सर्वोत्तम संसाधनों की एक क्यूरेटेड लाइब्रेरी - पेपर, ब्लॉग, टॉक, टूल, बेंचमार्क। BenchFlow द्वारा अनुरक्षित।

Hands-on, framework-free Colab notebooks for the AI Engineer / Forward Deployed Engineer (FDE) skill set — model APIs, structured output, tool calling, RAG, evals-as-the-spine, agents (loop from scratch, tool design, guardrails, MCP, Skills), fine-tuning vs LoRA, prompt-injection/security, LLMOps, and customer craft. Runs on the free Groq API.