evaluation

Chia sẻ cả kiến thức thực tế và lý thuyết về đánh giá LLM mà chúng tôi thu thập được trong quá trình quản lý Open LLM Leaderboard và thiết kế lighteval!

Avalanche: Thư viện toàn diện dành cho Học liên tục (Continual Learning) dựa trên PyTorch.

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Đánh giá trạng thái công nghệ tiên tiến nhất trong AI

Trình đánh giá tự động cho các mô hình ngôn ngữ tuân theo hướng dẫn. Được xác thực bởi con người, chất lượng cao, chi phí rẻ và nhanh chóng.

(IROS 2020, ECCVW 2020) Triển khai Python chính thức cho "3D Multi-Object Tracking: A Baseline and New Evaluation Metrics"

WFGY đang hướng tới WFGY 5.0 Polaris Protocol, một bản phát hành mã nguồn mở lớn dành cho suy luận AI, RAG, agent và quy trình làm việc thực tế. Bao gồm Bản đồ vấn đề, Thẻ gỡ lỗi toàn cầu, WFGY 4.0 và Trứng phục sinh CFV.

Mô hình ngôn ngữ lớn về sức khỏe tâm thần (LLM x Mental Health), Tiền huấn luyện & Tinh chỉnh, Bộ dữ liệu, Đánh giá, Triển khai & RAG, với các dòng mô hình InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM

Một Go framework để xây dựng các hệ thống agent môi trường sản xuất với luồng công việc dạng đồ thị, công cụ, bộ nhớ, A2A, AG-UI, MCP, đánh giá và khả năng quan sát.

Các khối xây dựng để phát triển nhanh chóng các ứng dụng GenAI

Trang GitHub chính thức cho bài báo khảo sát "A Survey on Evaluation of Large Language Models".

Thư viện ma trận nhầm lẫn đa lớp trong Python.

Mã nguồn đánh giá cho các số liệu tự động không giám sát khác nhau trong Natural Language Generation.

Chỉnh sửa LISP ngắn gọn và tuyệt vời

XAI - Bộ công cụ giải thích cho machine learning

Một framework để chuẩn đoán và tối ưu hóa toàn diện các tác nhân sử dụng các tương tác tổng hợp thực tế, được mô phỏng

KernelBench: LLM có thể viết GPU Kernel không? - Bộ công cụ và benchmark với Torch -> CUDA (+ nhiều DSL khác)

Phân phối và chạy các workload AI trên Kubernetes một cách kỳ diệu bằng Python, giống như PyTorch cho cơ sở hạ tầng ML.

FuzzBench - Dịch vụ đo lường hiệu năng fuzzer.

Các chỉ số hiệu năng độ trung thực cao cho các mô hình tạo sinh trong PyTorch

CI/CD gốc truy vết cho các AI agent — các lỗi trong môi trường sản xuất trở thành các bài kiểm thử hồi quy chặn PR. Tự động phát hiện, phân cụm, đóng băng thành các ca khép kín, phát lại trong CI với giá $0.

NCalc là một thư viện đánh giá biểu thức nhanh và nhẹ dành cho .NET, được thiết kế cho sự linh hoạt và hiệu suất cao. Nó hỗ trợ nhiều phép toán logic và toán học.

Đánh giá và cải thiện các model và agent bằng cách sử dụng các môi trường

Đánh giá phản hồi LLM của bạn với Prometheus và GPT4 💯

Các triển khai LangSmith Client SDK.

API SemanticKITTI để trực quan hóa tập dữ liệu, xử lý dữ liệu và đánh giá kết quả.

Tạo dữ liệu tổng hợp chất lượng cao, huấn luyện, đo lường và đánh giá trong một quy trình duy nhất.

ClawProBench là một bộ công cụ đánh giá trực tiếp dành cho các tác nhân LLM trong môi trường thực thi OpenClaw với khả năng chấm điểm xác định và độ tin cậy qua các lần thử nghiệm lặp lại.

OpenJudge: Một khung thống nhất để đánh giá toàn diện và khen thưởng chất lượng

Đánh giá biểu thức trong golang

Web Codegen Scorer là công cụ đánh giá chất lượng mã web được tạo bởi các mô hình LLM.