llm-evaluation

Platform rekayasa AI sumber terbuka: evaluasi LLM, observabilitas, metrik, manajemen prompt, playground, dan dataset. Terintegrasi dengan OpenTelemetry, LangChain, OpenAI SDK, LiteLLM, dan lainnya. 🍊YC W23

Platform rekayasa AI sumber terbuka untuk agen, LLM, dan model ML. MLflow memungkinkan tim dari berbagai skala untuk men-debug, mengevaluasi, memantau, dan mengoptimalkan aplikasi AI berkualitas produksi sambil mengontrol biaya serta mengelola akses ke model dan data.

Uji prompt, agen, dan RAG Anda. Red teaming/pentesting/pemindaian kerentanan untuk AI. Bandingkan performa GPT, Claude, Gemini, DeepSeek, dan lainnya. Konfigurasi deklaratif sederhana dengan integrasi baris perintah dan CI/CD. Digunakan oleh OpenAI dan Anthropic.

Debug, evaluasi, dan pantau aplikasi LLM, sistem RAG, dan alur kerja agen Anda dengan pelacakan komprehensif, evaluasi otomatis, dan dasbor siap produksi.

Kerangka kerja evaluasi LLM

Audit independen untuk AI Agent. Dijalankan oleh manusia atau agen itu sendiri untuk menjawab pertanyaan paling krusial dalam Ekonomi AI Agent: Apakah agen melakukan apa yang seharusnya dilakukan? Dengan iFixAi, Anda bisa mendapatkan jawabannya dalam waktu kurang dari 120 detik.

Observabilitas & Evaluasi AI.

Pemindai kerentanan LLM

非线智能 NoneLinear - ReLE评测：中文AI大模型能力评测（持续更新）：目前已囊括374个大模型，覆盖chatgpt、gpt-5.4、谷歌gemini-3.1-pro、Claude-4.6、文心ERNIE-X1.1、ERNIE-5.0、qwen3.6-max、qwen3.6-plus、百川、讯飞星火、商汤senseChat等商用模型， 以及step3.5-flash、kimi-k2.6、ernie4.5、MiniMax-M2.7、deepseek-v4、Qwen3.6、llama4、智谱GLM-5.1、MiMo-V2、LongCat、gemma4、mistral等开源大模型。不仅提供排行榜，也提供规模超200万的大模型缺陷库！方便广大社区研究分析、改进大模型。

🧊 Platform observabilitas LLM sumber terbuka. Satu baris kode untuk memantau, mengevaluasi, dan bereksperimen. YC W23 🍓

Platform AI Red Teaming full-stack untuk mengamankan ekosistem AI melalui Agent Scan, Skills Scan, MCP scan, AI Infra scan, dan evaluasi jailbreak LLM.

🐢 Pustaka pengujian dan evaluasi sumber terbuka untuk LLM Agent

Agent OS: agen menjadi lebih pintar dengan sendirinya. Kami menjaga batas: perintah penilaian dan hasil yang diharapkan tidak pernah masuk ke dalam kontrak kesuksesan yang kami berikan. Evaluasi bertahap yang dibatasi wawancara, perulangan evolusi beranggaran. Server MCP, 13 runtime: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro, dan lainnya.

Panduan praktis LLM: Dari dasar-dasar hingga penerapan aplikasi LLM dan RAG tingkat lanjut ke AWS menggunakan praktik terbaik LLMOps

AutoRAG: Sekarang agen Anda dapat menemukan apa pun di komputer Anda. Menjadi lebih cerdas jika Anda sering menggunakannya.

Toolkit evaluasi multimodal serbaguna untuk tugas teks, gambar, video, dan audio.

Kumpulan metode ilmiah, proses, algoritma, dan sistem untuk membangun cerita dan model.

Evaluasi dan Pelacakan untuk Eksperimen LLM dan Agen AI

Laminar - platform observabilitas sumber terbuka yang dibuat khusus untuk agen AI. YC S24.

Sumber daya komprehensif tentang AI Generatif, termasuk peta jalan terperinci, proyek, kasus penggunaan, persiapan wawancara, dan persiapan pemrograman.

Pemindai Kerentanan LLM Agen / Kit red teaming AI 🧪

Platform sumber terbuka end-to-end untuk mengevaluasi, mengawasi, dan meningkatkan aplikasi LLM dan agen AI. Penelusuran · Evaluasi · Simulasi · Kumpulan Data · Gateway · Guardrails. Dapat di-host sendiri. Apache 2.0.

Bangun, perkaya, dan ubah dataset menggunakan model AI tanpa kode.

Alat yang kuat untuk fuzzing LLM otomatis. Dirancang untuk membantu pengembang dan peneliti keamanan mengidentifikasi dan memitigasi potensi jailbreak pada API LLM mereka.

Prompty memudahkan pembuatan, pengelolaan,-debugging, dan evaluasi prompt LLM untuk aplikasi AI Anda. Prompty adalah kelas aset dan format untuk prompt LLM yang dirancang untuk meningkatkan keteramatan, keterpahaman, dan portabilitas bagi pengembang.

[JMLR 2026] "UQLM: Paket Python untuk Kuantifikasi Ketidakpastian dalam Large Language Models"

CI/CD berbasis trace untuk agen AI — kegagalan produksi menjadi tes regresi yang memblokir PR. Deteksi otomatis, klasterisasi, pembekuan menjadi kasus hermetik, dan pemutaran ulang di CI dengan biaya $0.

Stack Peningkatan Berkelanjutan untuk Agen. Data lingkungan dan evaluasi kami mendukung peningkatan dan pemantauan agen.

Agen riset ekuitas AI dengan alur kerja tangguh, RAG berbasis bukti, laporan versi, dan evaluasi kualitas otomatis.

Pustaka pilihan yang berisi sumber daya terbaik untuk membangun dan mengevaluasi AI agent — makalah, blog, ceramah, alat, dan tolok ukur. Dikelola oleh BenchFlow.