过拟合和欠拟合（Over fitting & Under fitting）

欠拟合（Under Fitting）

欠拟合指的是模型没有很好地学习到训练集上的规律。

欠拟合的表现形式：

• 当模型处于欠拟合状态时，其在训练集和验证集上的误差都很大；

当模型处于欠拟合状态时，根本的办法是增加模型复杂度。我们一般有以下一些办法：

• 增加模型的迭代次数；
• 更换描述能力更强的模型；
• 生成更多特征供训练使用；
• 降低正则化水平；

过拟合（Over Fitting）

过拟合指的是模型不止学习到训练集上的规律，还把噪音学习了进去，以至于模型泛化能力差。

过拟合的表现形式：

• 当模型处于过拟合状态时，其在训练集上的误差小，而在验证集上的误差会非常大。

当模型处于过拟合状态时，根本的办法是降低模型复杂度。我们则有以下一些武器：

• 增加训练样本；
• 减少特征数量；
• 提高正则化水平；

原文：https://www.cnblogs.com/HuZihu/p/10052387.html