F1 Score Là Gì

  -  

Khi đó, Precision được định nghĩa là tỉ lệ số điểm Positive mô hình dự đoán đúng trên tổng số điểm mô hình dự đoán là Positive. Recall được định nghĩa là tỉ lệ số điểm Positive mô hình dự đoán đúng trên tổng số điểm thật sự là Positive (hay tổng số điểm được gán nhãn là Positive ban đầu).

Bạn đang xem: F1 score là gì

Precision càng cao, tức là số điểm mô hình dự đoán là positive đều là positive càng nhiều. Precision = 1, tức là tất cả số điểm mô hình dự doán là Positive đều đúng, hay không có điểm nào có nhãn là Negative mà mô hình dự đoán nhầm là Positive.

Recall càng cao, tức là số điểm là positive bị bỏ sót càng ít. Recall = 1, tức là tất cả số điểm có nhãn là Positive đều được mô hình nhận ra.

Để hiểu rõ hơn về hai chỉ số này, ta có thể tưởng tượng một ví dụ như sau. Khi một người nghĩ là mình đang mắc bệnh gì đó, họ thường đi đến bệnh viện để làm các xét nghiệm để bác sĩ chẩn đoán xem kết quả là dương tính hay là âm tính. Ta có hai trường hợp về tình trạng bệnh là mắc bệnh hoặc không mắc bệnh. Ta có hai trường hợp về kết quả chẩn đoán là dương tính và âm tính.

Khi đó, precision là tỉ lệ người được chẩn đoán là dương tính thật sự mắc bệnh trên tổng số người được chẩn đoán là dương tính. Nếu precision = 0.9, thì cứ 100 người được chẩn đoán là dương tính thì sẽ thật sự có 90 người mắc bệnh. Precision càng cao thì xác suất người được chẩn đoán là dương tính có khả năng mắc bệnh càng cao.

Recall là tỉ lệ người được chẩn đoán là dương tính thật sự mắc bệnh trên tổng số người thật sự mắc bệnh. Nếu recall = 0.9, thì cứ 100 người mắc bệnh thì sẽ chẩn đoán 90 người dương tính. Recall càng cao thì xác suất người mắc bệnh được chẩn đoán là dương tính càng cao.

F1-score

Tuy nhiên, chỉ có Precision hay chỉ có Recall thì không đánh giá được chất lượng mô hình.

Xem thêm: Trâu Cày Coin - Thợ Đào Tiền Ảo Việt Nam Bán Tháo Trâu Cày

Chỉ dùng Precision, mô hình chỉ đưa ra dự đoán cho một điểm mà nó chắc chắn nhất. Khi đó Precision = 1, tuy nhiên ta không thể nói là mô hình này tốt.Chỉ dùng Recall, nếu mô hình dự đoán tất cả các điểm đều là positive. Khi đó Recall = 1, tuy nhiên ta cũng không thể nói đây là mô hình tốt.

Khi đó F1-score được sử dụng. F1-score là trung bình điều hòa (harmonic mean) của precision và recall (giả sử hai đại lượng này khác 0). F1-score được tinh theo công thức:

Accuracy hay độ chính xác, đo lường mức độ gần của các viên đạn trên bia đạn so với hồng tâm. Accuracy càng cao, tức là các viên đạn càng gần với hồng tâm.

Precision, hay độ chuẩn xác, đo lường mức độ tập trung của các viên đạn trên bia đạn. Precision càng cao, tức là các viên đạn càng tập trung vào một chỗ.

Một phiên bản vui vẻ hơn của precision và accuracy:


Trong machine learning, accuracy và precision tương tự như vấn đề bias-variance.

Tại sao là harmonic mean, mà không phải các cách tính trung bình khác?

Giả sử precision = 0.9, recall = 0.4.

Ta lần lượt thử các cách tính trung bình Arithmetic mean, Geometric mean và Harmonic mean.

Xem thêm: Nghĩa Của Từ Bow Là Gì ? Nghĩa Của Từ Bow Trong Tiếng Việt Nghĩa Của Từ Bow

*

*

*

Ta có thể thấy, harmonic mean cho kết quả thấp hơn nếu như giá trị của Precision hoặc Recall thấp. Tức là harmonic mean yêu cầu cả precision và recall cao để cho ra kết quả cao.