分类任务中,一个模型的好坏,可以有很多评价指标,本文将系统介绍混淆矩阵,和常见的几种评价指标。

混淆矩阵

混淆矩阵是机器学习中经常用来总结模型预测结果的表,用n*n的矩阵表示,即将数据集中的元素个数,按真实和预测两个维度进行汇总。以二分类为例,混淆矩阵结构如下:

TP(True Positive) | FN(False Negative)

FP(False Positive) | TN(True Negative)

解释说明

TP:表示实际正,预测正

FP:表示实际负,预测正

FN:表示实际正,预测负

TN:表示实际负,预测负

真实正样本:TP+FN,真实负样本:FP+TN

预测正样本:TP+FP,预测负样本:TN+FN

评价指标

1、准确率

分类正确的样本数量,占总样本个数的比例,可以理解为被正确分类的样本比例。

Accuracy = TP+TN/N

最简单直观的评价指标,但样本不均衡时,会受占比大的类别影响。比如正负比例9:1,模型什么都不做,直接将所有样本预测为正,准确率也能到90%。

2、精准率

预测为正实际也为正的样本数量,占预测为正的样本数量的比例。

Precision = TP/(TP+FP)

Precision体现了模型对负样本的区分能力,Precision越高,模型对负样本的区分能力越强。

3、召回率

预测为正实际也为正的样本数量,占实际为正的样本数量的比例,直观理解就是找到所有正样本的能力。

Recall = TP/(TP+FN)

Recall体现了模型对正样本的识别能力,Recall越高,模型对正样本的识别能力越强。

4、F1 Score

精准率和召回率的调和平均值。

F1 = 2/(1/Precision + 1/Recall)

F1 Score是Precision和Recall的综合,F1 Score越高,说明模型越稳健。

简单示例

假设有10个样本,其真实和预测值如下:

L:0 0 0 1 0 1 0 1 1 0

P:0 1 0 1 1 0 0 1 0 1

混淆矩阵

2(TP) | 2(TN)

3(FP) | 3(FN)

指标计算

Accuracy = (2+3)/10 = 1/2

Precision = 2/(2+3) = 2/5

Recall = 2/(2+2) = 1/2

本文为 陈华 原创,欢迎转载,但请注明出处:http://edu.ichenhua.cn/read/287