evaluation-metrics

Khung đánh giá LLM (LLM Evaluation Framework)

Python SDK dùng để giám sát AI agent, theo dõi chi phí LLM, chấm điểm hiệu năng và nhiều tính năng khác. Tích hợp với hầu hết các LLM và agent framework bao gồm CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2 và CamelAI

Hướng dẫn xây dựng hộp trắng mô hình lớn (LLM): Một Tiny-Universe hoàn toàn tự làm

Lighteval là bộ công cụ toàn diện giúp đánh giá LLM trên nhiều backend khác nhau

Chia sẻ cả kiến thức thực tế và lý thuyết về đánh giá LLM mà chúng tôi thu thập được trong quá trình quản lý Open LLM Leaderboard và thiết kế lighteval!

(IROS 2020, ECCVW 2020) Triển khai Python chính thức cho "3D Multi-Object Tracking: A Baseline and New Evaluation Metrics"

Đánh giá hệ thống chuyển đổi giọng nói thành văn bản bằng các thước đo độ tương đồng như tỷ lệ lỗi từ (WER)

OCTIS: So sánh các mô hình chủ đề thật đơn giản! Một gói Python để tối ưu hóa và đánh giá các mô hình chủ đề (được chấp nhận tại EACL2021 demo track)

Một khung thần kinh (Neural Framework) để đánh giá MT

Thư viện Python cực nhanh để đánh giá, so sánh và hợp nhất xếp hạng

Triển khai tám chỉ số đánh giá để đo lường độ tương đồng giữa hai hình ảnh. Tám chỉ số bao gồm: RMSE, PSNR, SSIM, ISSM, FSIM, SRE, SAM và UIQ.

Đánh giá dựa trên dữ liệu cho các ứng dụng hỗ trợ LLM