evaluation-metrics

LLM 평가 프레임워크

AI 에이전트 모니터링, LLM 비용 추적, 벤치마킹 등을 위한 Python SDK. CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2, CamelAI를 비롯한 대부분의 LLM 및 에이전트 프레임워크와 통합됩니다.

'대규모 언어 모델 화이트박스 구축 가이드': 처음부터 직접 만드는 Tiny-Universe

Lighteval은 다양한 백엔드에서 LLM을 평가하기 위한 올인원 툴킷입니다

Open LLM Leaderboard를 관리하고 lighteval을 설계하면서 얻은 LLM 평가에 관한 실용적인 통찰력과 이론적 지식 공유

"3D Multi-Object Tracking: A Baseline and New Evaluation Metrics" 논문의 공식 Python 구현 (IROS 2020, ECCVW 2020)

단어 오류율(WER)과 같은 유사도 지표로 speech-to-text 시스템을 평가하세요.

OCTIS: 토픽 모델 비교가 간단해집니다! 토픽 모델을 최적화하고 평가하기 위한 파이썬 패키지 (EACL2021 데모 트랙 채택)

기계 번역(MT) 평가를 위한 신경망 프레임워크입니다.

⚡️랭킹 평가, 비교, 융합을 위한 초고속 Python 라이브러리 🐍

두 이미지 간의 유사도를 평가하기 위한 8가지 지표(RMSE, PSNR, SSIM, ISSM, FSIM, SRE, SAM, UIQ) 구현

LLM 기반 애플리케이션을 위한 데이터 기반 평가