2021-06-07 记事

数据归一化与标准化

1. 什么是数据归一化？

归一化（标准化）可以定义为：归一化就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保证模型运行时收敛加快。

归一化和标准化的区别：

简单来说归一化的分母是大于等于标准化的分母的，且归一化的分子是小于分母，故归一化是把x限制在[0,1]之间，而标准化没有限制，且对噪点不敏感

1. 为什么要进行数据归一化？

取消量纲 使得剃度始终朝着最小值的方向前进 少走弯路 加速收敛

若样本x的一个特征A是从10000-100000，另一个特征B是从0.1-1，这样训练神经网络时候会导致B的作用非常小，这是不希望看到的。

同时这样会导致求偏导时A的参数变化大，B的参数变化小，这样会导致lost最小化是不停的走弯路，浪费时间
————————————————
版权声明：本文为CSDN博主「csdn_black」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/CSDN_Black/article/details/81014781

归一化层，目前主要有这几个方法，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）、Switchable Normalization（2018年）。