机器学习混淆矩阵及模型评估指标

分类任务中，一个模型的好坏，可以有很多评价指标，本文将系统介绍混淆矩阵，和常见的几种评价指标。

混淆矩阵

混淆矩阵是机器学习中经常用来总结模型预测结果的表，用n*n的矩阵表示，即将数据集中的元素个数，按真实和预测两个维度进行汇总。以二分类为例，混淆矩阵结构如下：

TP(True Positive) | FN(False Negative)

FP(False Positive) | TN(True Negative)

解释说明

TP：表示实际正，预测正

FP：表示实际负，预测正

FN：表示实际正，预测负

TN：表示实际负，预测负

真实正样本：TP+FN，真实负样本：FP+TN

预测正样本：TP+FP，预测负样本：TN+FN

评价指标

1、准确率

分类正确的样本数量，占总样本个数的比例，可以理解为被正确分类的样本比例。

Accuracy = TP+TN/N

最简单直观的评价指标，但样本不均衡时，会受占比大的类别影响。比如正负比例9:1，模型什么都不做，直接将所有样本预测为正，准确率也能到90%。

2、精准率

预测为正实际也为正的样本数量，占预测为正的样本数量的比例。

Precision = TP/(TP+FP)

Precision体现了模型对负样本的区分能力，Precision越高，模型对负样本的区分能力越强。

3、召回率

预测为正实际也为正的样本数量，占实际为正的样本数量的比例，直观理解就是找到所有正样本的能力。

Recall = TP/(TP+FN)

Recall体现了模型对正样本的识别能力，Recall越高，模型对正样本的识别能力越强。

4、F1 Score

精准率和召回率的调和平均值。

F1 = 2/(1/Precision + 1/Recall)

F1 Score是Precision和Recall的综合，F1 Score越高，说明模型越稳健。

简单示例

假设有10个样本，其真实和预测值如下：

L：0 0 0 1 0 1 0 1 1 0

P：0 1 0 1 1 0 0 1 0 1

混淆矩阵

2(TP) | 2(TN)

3(FP) | 3(FN)

指标计算

Accuracy = (2+3)/10 = 1/2

Precision = 2/(2+3) = 2/5

Recall = 2/(2+2) = 1/2