人工智能PPT第6章 模型评估与选择.ppt
《人工智能PPT第6章 模型评估与选择.ppt》由会员分享,可在线阅读,更多相关《人工智能PPT第6章 模型评估与选择.ppt(29页珍藏版)》请在文库网上搜索。
1、第第6 6章章 模型调优与评估模型调优与评估过拟合和欠合和欠拟合合拟拟合是指机器学合是指机器学合是指机器学合是指机器学习习模型在模型在模型在模型在训练训练的的的的过过程中,通程中,通程中,通程中,通过过更新参数,更新参数,更新参数,更新参数,使得模型不断契合可使得模型不断契合可使得模型不断契合可使得模型不断契合可观测观测数据数据数据数据(训练训练集集集集)的的的的过过程。欠程。欠程。欠程。欠拟拟合合合合指的是模型在指的是模型在指的是模型在指的是模型在训练训练和和和和预测预测表表表表现现都不好,往往由于模型都不好,往往由于模型都不好,往往由于模型都不好,往往由于模型过过于于于于简单简单,如如如如
2、图图(a)(a)所示。正常模型指的是模型在所示。正常模型指的是模型在所示。正常模型指的是模型在所示。正常模型指的是模型在训练训练和和和和预预测测表表表表现现都好,如都好,如都好,如都好,如图图(b)(b)所示。所示。所示。所示。过拟过拟合是指由于模型合是指由于模型合是指由于模型合是指由于模型过过于于于于复复复复杂杂,模型在,模型在,模型在,模型在训练训练集上的表集上的表集上的表集上的表现现很好,但在很好,但在很好,但在很好,但在测试测试集上表集上表集上表集上表现现较较差差差差,如如如如图图(c)(c)所示。所示。所示。所示。欠拟合1)添加新特征添加新特征当特征不足或者现有特征与样本标签的相关性
3、不强时,模型容易出现欠拟合。通过“组合特征”等进行处理。2)模型优化:提升模型复杂度模型优化:提升模型复杂度模型的复杂度可以使模型拥有更强的拟合能力。例如,在线性模型中添加高次项等进行处理。不同的建模算法针对不同的业务场景有不同的表现,尝试不同的建模算法,从中比较,择优者而用之。细分群体,建立多个模型,对应不同的核心客户群体。3)减少正则项权重减少正则项权重过拟合1)获取更多的训练样本获取更多的训练样本由于模型训练了包含噪音在内的所有特征,导致模型过拟合,通过获取更多的训练样本,可以衰减噪音权重。2)减少特征数目减少特征数目特征共线性检查,利用Pearson相关系数计算变量之间的线性相关性,如
4、果自变量中属于中度以上线性相关的多个变量,只需要保留一个就可以。重要特征筛选,利用决策树模型,降低树的深度、进行剪枝等,筛选出重要特征。数据降维,主成分分析,保留特征变量重要差异。3)增加正则项权重增加正则项权重减少高次项的影响。例如,添加L2正则化到损失函数等。模型调优模型调优,首先应解决欠拟合问题,其次再解决过拟合问题。更主要的,是从数据的特征入手,好的特征工程决定预测结果的上限。参数调优往往是数据挖掘、数据分析中至关重要的一步,主要调整模型中的超参数,例如学习速率等。Sklearn提供了网格搜索法和随机搜索方法用于参数调优。网格搜索GridSearchCV可以自动进行超参数组合,传入需要
5、测试的超参数和对应的值,自动使用交叉验证,来评估在这些超参数的组合下,模型的优劣。GridSearchCV拆分为GridSearch和CV两部分,即网格搜索和交叉验证。Sklearn的model_selection模块GridSearchCV,形式如下所示:GridSearchCV(eatimator,param_grid)随机搜索法在处理较少的超参数组合时,GridSearchCV方法比较适用。GridSearchCV可以保证在指定的参数范围内找到精度最高的参数,但是这也是网格搜索的缺陷所在,要求遍历所有可能参数的组合,在面对大数据集和多参数的情况下,非常耗时。RandomizedSearc
6、hCV随机参数搜索的方法相对于网格搜索方法,找到模型的最优参数的可能性比较大,并且也比较省时。Sklearn的model_selection模块RandomizedSearchCV分类评估标准n混淆矩阵n准确率n精确率n召回率nF1scorenROC曲线nAUC面积n分类评估报告分类评估报告混淆矩阵n混淆矩阵也称误差矩阵,用于评价算法或者分类器的结果。混淆矩阵由n行n列组成,每一列代表了预测类别,每一列的总数表示预测为该类别的数据的数目;每一行代表了数据的真实归属类别,每一行的总数表示该类别的数据实例的数目。每一列中的数值表示真实数据被预测为该类的数目。混淆矩阵准确率准确率(Accuracy,
7、缩写ACC)是最常用的分类性能指标。准确率是指有病被检查的TP是检测对了,没病也检测的TN也是检测对了。准确率(Accuracy)=预测正确样本数/总样本数。公式如下所示:sklearn.metrics模块提供accuracy_score函数,形式如下所示:sklearn.metrics.accuracy_score(y_true,y_pred,normalize)精确率精确率(Precision)又称为查准率,容易和准确率混淆。精确率只是针对预测正确的正样本而不是所有预测正确的样本,精准率是正确预测的正例数/预测正例总数。公式如下所示:sklearn.metrics模块提供precision
8、_score函数,形式如下所示:sklearn.metrics.precision_score(y_true,y_pred)召回率召回率(Recall)就是所有准确的条目有多少被检索出来,召回率可理解为查全率。查准率和查全率是一对矛盾的度量。一般来说,查准率高时,查全率往往偏低;而查全率高时,查准率往往偏低。召回率是正确预测的正例数/实际正例总数sklearn.metrics模块提供recall_score函数,形式如下所示:recall_score(y_true,y_pred,average)F1scoreF1分数(F1Score)用于衡量二分类模型精确度,是精确率和召回率的调和值,变化范围
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工智能PPT第6章 模型评估与选择 人工智能 PPT 模型 评估 选择