梯度下降中的步长选择-线性搜索

固定步长的时候往往不能很快的梯度下降。

所以步长的选择也很重要。

下面的d_k是搜索方向，在梯度下降中就是负梯度方向。

在这里是假设了h（a）是连续可导的函数，一般情况下也是这样。

找到合适的a有几种方式

1.简单的二分搜索

2.回溯法线性搜索

上式中小于等于号右边的式子是小于f（x_k）的，因为d_k是跟异号的。

回溯的时候可以不断的除以2，c₁可以取值0.3

原文：http://www.cnblogs.com/fisherinbox/p/6492890.html