数学工具-优化算法

• 梯度计算：
  
• 权值更新：
  

• 梯度下降法是求解无约束问题最常用的手段，简单稳定
  
• 忠于目前前进的方向，所以GD是很固执的，极其容易陷入局部最优解，从上图中也可以看出，拟合曲线先奔向局部最优解，然后才艰难地改变方向寻找另一个最优解
  
• 下降的步长固定，前期训练慢，后期容易震荡不收敛。
  
• 不适用于高维空间
  
• 一般图像处理任务使用梯度下降法。
  

• 批量梯度下降（Batch gradient descent，BGD）：每次权值更新使用全量训练集数据
  
• 小批量梯度下降（Mini Batch Gradient Descent，MBGD）：每次权值更新使用部分训练集数据
  
• 随机梯度下降（Stochastic Gradient Descent，SGD）：每次权值更新，对训练集重新打乱，逐条更新
  

• 梯度计算：
  
• 速度更新：
  
• 权值更新：
  

momentum还有一个变种算法NAG（Nesterov accelerated gradient），梯度计算中也加入动量，变为   ，其他计算不变，拟合速度前期比momentum快很多

• 更新梯度：
  
• 梯度累计：   （这是对应点相乘）
  
• 权值更新：
  

• 在前期，梯度累计平方和比较小，也就是r相对较小，则约束项较大，这样就能够放大梯度，参数更新量变大；随着迭代次数增多，梯度累计平方和也越来越大，即r也相对较大，则约束项变小，这样能够缩小梯度，参数更新量变小。
  
• 根据不常用的参数进行较大幅度的学习率更新，根据常用的参数进行较小幅度的学习率更新。因此，Adagrad 适合稀疏数据（如图像相关的任务 ）的训练
  
• 但在中后期，分母上梯度累加的平方和会越来越大，使得参数更新量趋近于0，使得训练提前结束，无法学习
  

• 梯度计算：
  
• 更新速度：
  
• 更新梯度：
  
• 权值更新：   （PS：按原作者的意思，这里的学习率可以省略）
  
• 更新梯度累计：
  

• AdaDelta 将累积过去平方梯度的范围限制在固定窗口 w 内，取代了经典动量算法累积所有历史梯度值的做法。
  
• 训练初中期，加速效果不错，很快。
  
• 训练后期，反复在局部最小值附近抖动。
  
• 训练过程不依赖学习率，真正的自适应学习。
  

特别地，上面的一些函数形式后面会多次用到，这里顺带一并记录，
我们把下面形式的函数称为指数加权平均

该函数式的含义是：第 个数据其实是前 个数据加权和，其中，   为前面每一个数的权重的衰减指数，即越靠前的数据对当前结果的影响较小，   值一般设置较大，例如0.9
将下面形式的函数称为均方根误差

• 更新梯度：
  
• 累计平方梯度：
  
• 权值更新：
  

• RMSprop是Adagrad的一种发展，是Adadelta的变体，效果趋于二者之间
  
• 基于权重梯度最近量级的均值为每一个参数适应性地保留学习率。这意味着算法在非稳态和在线问题上有很有优秀的性能。
  
• 适合处理非平稳目标——对于RNN效果很好
  

• 梯度计算：
  
• 更新质量：
  
• 更新速度：
  
• 质量矫正：
  
• 速度矫正：
  
• 权值更新：
  

• Adaptive + Momentum，自适应的动量下降，应该是ada家族中使用率最高的算法，万金油算法，收敛速度极快。
  
• 具有梯度偏置校正，每一次迭代学习率都有一个固定范围，使得参数比较平稳。Adam中动量直接并入了梯度一阶矩（指数加权）的估计。其次，相比于缺少修正因子导致二阶矩估计可能在训练初期具有很高偏置的RMSProp，Adam包括偏置修正，修正从原点初始化的一阶矩（动量项）和（非中心的）二阶矩估计。（我一般将其理解为质量项与速度项）
  
• 结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点
  
• 对内存需求较小
  
• 也适用于大多非凸优化问题——适用于大数据集和高维空间。
  
• 可能存在不收敛或容易错过最优解的问题。
  
• 一般NLP任务使用Adam算法。
  

• 梯度计算：
  
• 更新质量：
  
• 更新速度：
  
• 质量矫正：
  
• 权值更新：