evaluation

Berbagi wawasan praktis dan pengetahuan teoretis tentang evaluasi LLM yang kami kumpulkan saat mengelola Open LLM Leaderboard dan merancang lighteval!

Avalanche: Pustaka End-to-End untuk Pembelajaran Berkelanjutan berbasis PyTorch.

Mengevaluasi teknologi AI terkini (state of the art).

Evaluator otomatis untuk model bahasa yang mengikuti instruksi. Tervalidasi oleh manusia, berkualitas tinggi, murah, dan cepat.

(IROS 2020, ECCVW 2020) Implementasi Python resmi untuk "3D Multi-Object Tracking: A Baseline and New Evaluation Metrics".

WFGY menuju ke WFGY 5.0 Polaris Protocol, rilis open-source utama untuk penalaran AI, RAG, agen, dan alur kerja dunia nyata. Termasuk Problem Map, Global Debug Card, WFGY 4.0, dan CFV Easter Egg.

Model Bahasa Besar (LLM) Kesehatan Mental, Pelatihan Pra & Pasca & Dataset & Evaluasi & Penerapan & RAG, dengan model seri InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM

Framework Go untuk membangun sistem agen produksi dengan alur kerja berbasis grafik, alat, memori, A2A, AG-UI, MCP, evaluasi, dan observabilitas.

Blok bangunan untuk pengembangan cepat aplikasi GenAI

Halaman resmi GitHub untuk makalah survei "A Survey on Evaluation of Large Language Models".

Pustaka confusion matrix multi-kelas di Python

Kode evaluasi untuk berbagai metrik otomatis tak terbimbing untuk Natural Language Generation.

Penyuntingan LISP yang singkat dan padat

XAI - Kotak alat explainability untuk machine learning

Kerangka kerja untuk diagnosis komprehensif dan optimasi agen menggunakan interaksi sintetis yang disimulasikan dan realistis

KernelBench: Apakah LLM Dapat Menulis Kernel GPU? - Tolok Ukur + Toolkit dengan Torch -> CUDA (+ lebih banyak DSL)

Distribusikan dan jalankan beban kerja AI di Kubernetes secara ajaib dengan Python, seperti PyTorch untuk infrastruktur ML.

FuzzBench - Pembandingan fuzzer sebagai layanan.

Metrik performa fidelitas tinggi untuk model generatif di PyTorch

CI/CD berbasis trace untuk agen AI — kegagalan produksi menjadi tes regresi yang memblokir PR. Deteksi otomatis, klasterisasi, pembekuan menjadi kasus hermetik, dan pemutaran ulang di CI dengan biaya $0.

NCalc adalah pustaka evaluator ekspresi yang cepat dan ringan untuk .NET, dirancang untuk fleksibilitas dan performa tinggi. Mendukung berbagai operasi matematika dan logika.

Evaluasi dan tingkatkan model serta agen menggunakan lingkungan

Evaluasi respons LLM Anda dengan Prometheus dan GPT4 💯

Implementasi SDK Klien LangSmith

API SemanticKITTI untuk visualisasi dataset, pemrosesan data, dan evaluasi hasil.

Hasilkan Data Sintetis Berkualitas Tinggi, Latih, Ukur, dan Evaluasi dalam Satu Pipeline

ClawProBench adalah harness benchmark live-first untuk mengevaluasi agen LLM di runtime OpenClaw dengan penilaian deterministik dan keandalan uji coba berulang.

OpenJudge: Kerangka Kerja Terpadu untuk Evaluasi Holistik dan Quality Rewards

Evaluasi ekspresi dalam golang

Web Codegen Scorer adalah alat untuk mengevaluasi kualitas kode web yang dihasilkan oleh LLM.