二分类评价指标

评价指标是针对同样的数据,输入不同的算法,或者输入相同的算法但参数不同 而给出这个算法或者参数好坏的定量指标。

本文将问题看成二分类问题,因此本文主 要用到的评价指标有准确度、召回率、ROC 曲线以及 AUC 面积,这些是在二分类问 题比较常见的指标。

混淆矩阵是 ROC 曲线绘制的基础,同时它也是衡量分类型模型 准确度中最基本、最直观、计算最简单的方法。以分类模型中的二分类为例,对于这 种问题,模型最终需要判断样本的结果是 0 还是 1,或者说是 Positive 还是 Negative。

因此,能得到这四个基础指标,可以看成是一级指标:

真实值是 Positive,模型认为 是 Positive 的数量(TP)。

真实值是 Positive,模型认为是 Negative 的数量(FN)。

真实值 是 Negative,模型认为是 Positive 的数量(FP)。

真实值是 Negative,模型认为是 Negative的数量(TN)。

将这四个指标一起呈现在表格中,就能得到如表 3 这样一个矩阵,称它 为混淆矩阵。预测性分类模型,是希望越准越好。在混淆矩阵中,TP 与 TN 的数量越 大越好,而 FP 与 FN 的数量越小越好。

一、混淆矩阵

img

二、准确率,错误率,召回率

准确率和错误率也是常用的评估指标,精确率是一个二分类指标,准确率能应用 于多分类。

img

准确率指的是预测值为 1 且真实值也为 1 的样本在预测值为 1 的所有样本中所占 的比例。

召回率指的是预测值为 1 且真实值也为 1 的样本在真实值为 1 的所有样本中 所占的比例。

三、AUC值

AUC 是指 ROC 曲线下与坐标轴围成的面积,这个面积的数值小于等于 1。又因 为 ROC 曲线一般都处于 y=x 这条直线的上方,所以 AUC 的取值范围在 0.5 和 1 之间。 AUC 越接近 1.0,检测方法的实性越高;等于 0.5 时真实性最低,无应用价值。

AUC=i(P+N)(TPRi+TPRi1)×(FPRiFPRi1)2A U C=\sum_{i \in(P+N)} \frac{\left(T P R_{i}+T P R_{i-1}\right) \times\left(F P R_{i}-F P R_{i-1}\right)}{2}