超参数

【1】超参数的“学院派”定义：

在机器学习的过程中，
超参= 在开始机器学习之前，就人为设置好的参数。
模型参数=通过训练得到的参数数据。
通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果

【2】怎么决定超参数？

1. 定义关于模型的更高层次的概念，如复杂性或学习能力。
2. 不能直接从标准模型培训过程中的数据中学习，需要预先定义。
3. 可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定

【3】超参数的“通俗”定义：

超参数也是一种参数，它具有参数的特性，比如未知，也就是它不是一个已知常量。
是一种手工可配置的设置，需要为它根据已有或现有的经验，指定“正确”的值，也就是人为为它设定一个值，它不是通过系统学习得到的。

【4】超参数的一些示例：

1. 聚类中类的个数
2. 话题模型中话题的数量
3. 模型的学习率
4. .深层神经网络隐藏层数的数量或树的深度
5. 矩阵分解中潜在因素的数量
6. k均值聚类中的簇数

模型优化本质

模型优化就是通过调整模型超参数使得模型性能打到最优。

• 手动调参
• 网格搜索法（Grid Search）：穷举搜索指定参数值，将尝试每个参数的组合。

参数和超参数的区别：

• 模型参数是模型内部的配置变量，需要用数据估计模型参数的值。
• 模型超参数是模型外部的配置，其值无法从数据中估计，需要手动设置，并且在过程中用于帮助估计模型参数。