机器学习的简单逻辑回归的Advanced Optimization

Learning Course: One variable logistic regression optimization

单变量（只有一个特征）的用于分类的逻辑回归的cost function的最小值求解, here:

x=[x1;x2]; y={0,1};

theta=[theta(1);theta(2)]

由于分类中的y值需为0-1之间的数值，因此这里的cost function不同于线性回归的cost function。

h_θ（x)=g(θ^Tx), where g(x)= 1/(1-exp(-x)); thus h_θ（x) = 1/(1-exp(-θ^TX));

Thus Cost(h_θ(x),y)=−ylog(h_θ(x))−(1−y)log(1−h_θ(x)), 

因为当实际y ＝1时，上述方程 cost = −ylog(h_θ(x)), 因此在预测y值接近1时，方程值趋近于0，即使cost value趋近于零，反之，预测值接近于0时，cost value趋近于无穷大；对于y＝0的推理也是同理。

然后 repeat θj :=θj - alpha*∂(J(θ))/∂(θj);

因此此处的优化即使找到一个theta使得cost function，即我们的目标方程的最小值。

 

以下用一个简化的例子来计算目标方程的最小值

例如 cost function 为 J(theta) = (theta(1)-5)^2+(theta(2)-5)^2

先构建出我们的目标函数

function [jVal,gradiant] = costfunction(theta)
jVal = (theta(1)-5)^2+(theta(2))-5)^2;
gradiant = zeros(2,1);
gradiant(1) = 2*(theta(1)-5);
gradiant(2) = 2*(theta(2)-5);
end

　然后我们使用optimization的函数

options = optimset('GradObj','on','MaxIter',100);
initialTheta = zeros(2,1);
% MaxIter定义最大迭代步数，100即定义为100步
% GradObj指定义的梯度
[optTheta,fval,exitFlag] = fminunc(@costfunction,initialTheta,options);
% optTheta export our optimal Theta value
% fval export our final objective function value
% exitFlag 返回算法的终止标志;
% 大于零时为计算收敛，等于零时表示超过最大迭代次数（所以该增加maxiters），小于零时代表不收敛
% options是一个结构，里面有控制优化过程的各种参数

　　这里对 'on'的理解我不是特别明白，根据解释

Hessian

If 'on', function uses user-defined Hessian, or Hessian information (when using HessMult), for the objective function. If 'off', function approximates the Hessian using finite differences.

L

fmincon, fminunc

 

 

这里的fminunc函数是matlab或者octave里已定义的函数，其功能是无约束（x的值域无约束）最优化问题求解，fminisearch和fminuc都可用于最小值求解，以下为简单总结：

1.以上两个函数都用于非线性多元函数最小值求解（因此注意求解的x的维度）

2. fminisearch适合阶次低，但是断点多的函数

3. fminunc适合高阶连续函数，因此当阶数大于等于2时，使用fminunc效果更好，但注意函数需连续。

以下为fminunc函数的一般调用格式：

x ＝ fminunc(fun,x0);

x为返回的使函数值最小的x值，x0为优化的初始值，fun为我们定义的目标函数，也可以用@fun来调用定义函数，如下

x = fminunc(@fun,x0);

本篇博客的目的是为了总结吴恩达老师的机器学习课程，以便帮助自己更好的学习，如有错误之处，还请指出讨论以便改正。