evaluation

Kerangka kerja untuk meningkatkan LLM untuk tugas RAG menggunakan fine-tuning.

[EMNLP 2024 & AAAI 2026] Toolkit canggih untuk mengompresi model besar termasuk LLM, VLM, dan model generatif video.

🦞 Plugin resmi untuk OpenClaw yang mengekspor jejak agen ke Opik. Lihat dan pantau perilaku agen, biaya, token, kesalahan, dan lainnya.

Implementasi Python dari IOU Tracker

⚡️Pustaka Python yang sangat cepat untuk evaluasi, perbandingan, dan fusi peringkat 🐍

Tolok ukur faktualitas bentuk panjang dalam model bahasa besar. Kode asli untuk makalah kami "Long-form factuality in large language models".

Benchmark open-source untuk AI agent browser pada tugas sehari-hari.

Awesome-LLM-Eval: Daftar kurasi alat, dataset/benchmark, demo, papan peringkat, makalah, dokumen, dan model, terutama untuk evaluasi LLM.

AutoPrompt: Pembuatan Prompt Otomatis untuk Masked Language Models.

[ICML 2024] TrustLLM: Kepercayaan dalam Model Bahasa Besar (LLM)

Evaluator Ekspresi Matematika dan Pseudo C# Sederhana dalam Satu File C#. Juga dapat mengeksekusi skrip kecil mirip C#

Repositori sumber daya untuk machine unlearning pada model bahasa besar (large language models)

TCExam adalah sistem CBA (Penilaian Berbasis Komputer) (ujian elektronik, CBT - Pengujian Berbasis Komputer) untuk universitas, sekolah, dan perusahaan, yang memungkinkan pendidik dan pelatih untuk membuat, menjadwalkan, menyampaikan, dan melaporkan survei, kuis, tes, dan ujian.

Evaluator Ekspresi yang Sederhana, Aman, Tersekat (Sandboxed), dan Dapat Diperluas untuk Python

Ini adalah repositori kotak alat untuk membantu mengevaluasi berbagai metode yang melakukan pencocokan gambar dari sepasang gambar.

Repositori ini berisi kode evaluasi untuk makalah "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"

Kumpulan dataset yang memetakan pertanyaan ke kueri SQL.

ParseBench - Tolok Ukur Penguraian Dokumen untuk AI Agent

Meta Agents Research Environments adalah platform komprehensif yang dirancang untuk mengevaluasi agen AI dalam skenario yang dinamis dan realistis. Tidak seperti tolok ukur statis, platform ini memperkenalkan lingkungan yang terus berkembang di mana agen harus menyesuaikan strategi mereka saat informasi baru tersedia, mencerminkan tantangan di dunia nyata.

Dataset dan tolok ukur untuk RAG pada dokumen internal perusahaan.