机器学习中分类问题中的性能指标 - Vurkty's BLOG


机器学习中分类问题中的性能指标

机器学习中分类问题中的性能指标

1. TP / FP / FN / TN

预测1预测0
实际1True Positive (TP)False Negative (FN)
实际0False Positive (FP)True Negative (TN)

2. 准确率 (Accuracy)

  • 定义:预测正确的样例占所有样例的比例。
  • Accuracy = (TP + TN) / (TP + FN + FP + TN)
  • 存在问题:一个地震的分类器,0表示没有地震,1表示地震,由于地震概率非常小,因此,只要所有的例子来都猜是0,就能够是准确率(Accuracy)达到0.9999,但我们更关心的是发生的概率。

3. 精确率 (Precision)

  • 定义:精确率又叫查准率,是在所有被判断为正样例的样本中真正是正样例的比例。
  • Precision = TP / (TP + FP)
  • 用途:精确率常用于推荐系统中。对某个商品,用户喜欢为正样例,不喜欢为负样例,以精确率来衡量推荐的性能。

4. 召回率 (Recall)

  • 定义:也被成为查全率,医学上也被称为敏感度(Sensitive),正样本被预测出的概率。
  • Recall = TP / (TP + FN)
  • 用途:如医学中需避免漏诊,需用召回率评价。

5. 特异度 (Specificity)

  • 定义:负样本被检测出的概率。
  • Specificity = TN / (FN + TN)
  • 用途:也常用于医学,如果特异度极低,那则考虑为误诊率极高。

6. ROC曲线

  • 定义:Receiver Operating Characteristic, ROC,曲线上每个点反映着对同一信号刺激的感受性。
  • 横轴:假正类率(False Positive Rate, FPR),1 - 特异度,即1 - Specificity。可以认为是代价(理解为上文中提到的误诊率)。
  • 纵轴:真正类率(True Positive Rate, TPR),灵敏度,Sensitivity。可以认为是收益。(理解为上文中提到的某病患被检测出的概率)。
  • 变量:二分类中的阈值。
  • :某二分类问题
阈值(%)实例数正例数1 - 特异度(%)敏感度(%)
10618048792.7334.64
20618028049.8054.55
306180216518.2269.92
406180150628.0180.62
50618098738.9087.62
60618052950.7491.38
70618036562.9393.97
80618029475.2696.06
90618029787.5998.17
1006180258100.00100.00

ROC曲线:

00.png

  • 评价:我们希望,在误诊率最小的情况下达到查出尽可能所有的病患,当ROC曲线约靠近(0, 1)点时,也就是ROC曲线下的面积越大时,分类器的性能越好。

7. AUC

  • 定义:Area Under curve, AUC。ROC曲线下的面积。
  • 评价:越大认为分类器性能越好,同6中所描述。

8. F1 score

  • 定义:精确率和召回率的调和平均数。
  • F1 = 2 / [(1 / Pre) + (1 / Re)]
  • 评价:F1 score越高,认为分类器性能越好。

本文链接:

https://www.vurkty.com/notes/39.html
1 + 6 =
快来做第一个评论的人吧~