梯度下降算法
梯度下降是一种优化算法(无约束的非线性规划)。自己结合例子总结如下。
直接上例子:
函数:f(x) = x1-x2+2x1^2+2x1x2+x2^2,是一条曲线

求使得函数f(x)为最小值时的点(x1,x2),即目标函数:minf(x)
解:
1、随机给定初始点 x=(0,0)

2、f(x)的梯度为点的偏导(切线方向是最大方向):

3、初始点的偏导:

4、搜索放向:(负梯度方向)

5、计算步长入:
下一个点为x = x + 入d =(-入,入),代人f(x)=入^2-2入,其最小值时的入为最优步长入

6、计算下一个点:x = x + 入d

附图:

- matlab 测试代码
```matlab
%%
%梯度下降算法(gradient descent)
%说明:对一个二元多项式进行求最小值(x1,x2)——>min(fn)
%时间:2016-01-04
%作者:zlw
%%
clc;clear;close all;
syms x1 x2 r;
fn=x1-x2+2*x1^2+2*x1*x2+x2^2;%定义函数
%exmp:fn0=subs(fn,{x1,x2},{1,2});%计算(1,2)处的函数值
dfn1=diff(fn,x1);%求x1偏导
dfn2=diff(fn,x2);%求x2偏导
e=0.000001;%误差范围
x_next=[0,0];%初始给定点
for k=1:10000
t1(k)=x_next(1);t2(k)=x_next(2);
dfn=[subs(dfn1,{x1,x2},{t1(k),t2(k)}),subs(dfn2,{x1,x2},{t1(k),t2(k)})];%计算该点的偏导
d=-dfn;
if d*d'<=e
x_min=[t1(k),t2(k)];%输出最优点
break;
else
x_temp=[t1(k),t2(k)]+r*d;
yr=subs(fn,{x1,x2},{x_temp(1),x_temp(2)});
dyr=diff(yr,r);
r_min=double(solve(dyr,r)); %(求最优步长r)导数为0时的r值,solve求等式方程很强大
x_next=[t1(k),t2(k)]+r_min*d;
end
end
disp('最小值点(x1,x2)为:');
disp(x_min);
disp('最小值为:')
disp(double(subs(fn,{x1,x2},x_min)));
```