← Glossary← Thuật ngữ

TECHNOLOGYCÔNG NGHỆ

EvalsBộ đánh giá (evals)

Bộ đánh giá (evals)Evals

Concrete tests that check whether an AI model or agent does its job well enough, run every time it changes.Các bài kiểm tra cụ thể xem mô hình hay agent AI có làm đủ tốt việc của nó không, chạy lại mỗi khi có thay đổi.

EvalsWrite testcasesChange modelor promptRun evalsShip or rollback
Bộ đánh giá (evals)Viết tìnhhuống kiểmtraĐổi mô hìnhhay promptChạy evalsPhát hànhhay quay lại

Evals are to AI products what automated tests are to code. They turn vague quality into checkable cases: given this input, a good answer looks like this, a bad one like that. When release cycles shrink to a day, evals are how a team knows whether a change helped or hurt. Writing good evals requires product taste and domain knowledge, which is why it has become a core product management skill.

Evals với sản phẩm AI cũng như kiểm thử tự động với code. Chúng biến chất lượng mơ hồ thành các trường hợp kiểm tra được: với đầu vào này, câu trả lời tốt trông thế này, câu trả lời dở trông thế kia. Khi chu kỳ phát hành rút xuống còn một ngày, evals là cách để đội biết một thay đổi giúp ích hay gây hại. Viết evals tốt cần gu sản phẩm và hiểu biết nghiệp vụ, nên nó đã thành kỹ năng cốt lõi của quản lý sản phẩm.

EXAMPLEVÍ DỤ

A driving test checks a fixed set of situations before a licence is issued: parking, junctions, emergency stops. Evals do the same for an AI system before and after every change.

Kỳ thi sát hạch lái xe kiểm tra một bộ tình huống cố định trước khi cấp bằng: đỗ xe, qua giao lộ, phanh gấp. Evals làm điều tương tự cho hệ thống AI trước và sau mỗi thay đổi.

SOURCENGUỒNLiang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). Stanford CRFM.