evals

Mastra adalah kerangka kerja TypeScript modern untuk aplikasi dan agen berbasis AI.

Observabilitas & Evaluasi AI.

SDK Python untuk pemantauan agen AI, pelacakan biaya LLM, benchmarking, dan lainnya. Terintegrasi dengan sebagian besar LLM dan kerangka kerja agen termasuk CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2, dan CamelAI.

Membangun, Mengevaluasi, dan Mengoptimalkan Sistem AI. Mencakup evaluasi, RAG, agen, fine-tuning, pembuatan data sintetis, manajemen dataset, MCP, dan lainnya.

Kerangka kerja untuk mengevaluasi dan meningkatkan agen

Platform observability AI untuk sistem LLM dan agen di production.

Evaluasi dan Pelacakan untuk Eksperimen LLM dan Agen AI

Laminar - platform observabilitas sumber terbuka yang dibuat khusus untuk agen AI. YC S24.

Panduan desain sistem AI untuk insinyur yang membangun sistem AI produksi dan evaluasi.

Ubah alur kerja apa pun menjadi keterampilan agen AI yang dapat digunakan kembali dan diinstal di 17 platform — Claude Code, Copilot, Cursor, Windsurf, Codex, Gemini, Kiro, dan lainnya. Satu SKILL.md untuk setiap platform.

Platform pengujian dan evaluasi untuk mengobrol, memeriksa, dan men-debug server MCP, aplikasi MCP, dan aplikasi ChatGPT.

Evaluasi aplikasi bertenaga LLM Anda dengan TypeScript

Waku Waku! Waku Agent adalah perangkat agen AI berbasis lokal yang benar-benar Anda miliki, mencakup loop, memori, eval, semuanya dalam kode yang dirancang agar tetap mudah dibaca seiring perkembangannya.

Observabilitas dan penegakan kebijakan untuk wadah AI agent. Tangkap setiap eksekusi dan keandalan waktu proses dengan penegakan kebijakan. 40 kebijakan bawaan, dasbor lokal, tanpa perlu akun dengan paket cloud gratis yang fleksibel

Layanan pelanggan siap produksi sumber terbuka dengan evaluasi dan pemantauan bawaan

🥤 RAGLite adalah toolkit Python untuk Retrieval-Augmented Generation (RAG) dengan DuckDB atau PostgreSQL

CI/CD berbasis trace untuk agen AI — kegagalan produksi menjadi tes regresi yang memblokir PR. Deteksi otomatis, klasterisasi, pembekuan menjadi kasus hermetik, dan pemutaran ulang di CI dengan biaya $0.

Bangun sistem berbasis agen. Jalankan dengan percaya diri. Orkes-kan agen, otomatiskan proses bisnis, periksa setiap eksekusi, dan jaga manusia tetap pegang kendali. Deploy Heym di infrastruktur Anda sendiri.

Low-level agentic design patterns. Turning old engineering wisdom into reflexes your agent reaches for on its own—on any agent.

Pembuat skill yang membuktikan skill-nya berfungsi. Pembuatan skill berbasis bukti untuk Claude Code dan Codex: pembuatan dengan pengujian dasar, evaluasi regresi per skill, pemeriksa ekosistem, kompilasi lintas runtime, dan penasihat proaktif opsional.

Pustaka pilihan yang berisi sumber daya terbaik untuk membangun dan mengevaluasi AI agent — makalah, blog, ceramah, alat, dan tolok ukur. Dikelola oleh BenchFlow.

Hands-on, framework-free Colab notebooks for the AI Engineer / Forward Deployed Engineer (FDE) skill set — model APIs, structured output, tool calling, RAG, evals-as-the-spine, agents (loop from scratch, tool design, guardrails, MCP, Skills), fine-tuning vs LoRA, prompt-injection/security, LLMOps, and customer craft. Runs on the free Groq API.