损失函数(Loss Function)和代价函数(Cost Function)是同一个东西；例如：有一组样本数据，用f1(x),f2(x),f3(x)三个函数（模型）分别来拟合，三个函数的输出F(x)与真实值可能相同也可能不同，为了表示拟合的好坏，就用一个函数来度量拟合的程度，如：L(Y,f(x))=(Y-f(x))^2，这个函数就是【损失函数】，损失函数越小，代表模型拟合的越好，但是损失函数不是越小越好，太小容易出现过拟合的现象，从而降低模型的泛化能力。风险函数--损失函数的期望，可以认为是平均意义下的损失。风险函数涉及到两个概念：一个是经验风险，另一个一个是结构风险。                   
f(x)关于训练样本集的平均损失称为经验风险，即T(x)=1/N(L(Y1,f(x1))+..+L(YN,f(xn)))，此时的目标就是求经验风险T(x)的最小化。当样本容量不大的时候，经验风险最小化模型容易产生“过拟合”的问题。为了“减缓”过拟合问题，就提出了结构风险最小（SRM）的理论。结构风险的定义，就是在经验风险上加上一个正则化项（regularizer）或者叫做罚项（penalty term）。J(f)专门用来【度量模型的复杂度】，在机器学习中也交叫【正则化项】。常用的有L1，L2范数。目标函数：即最终的优化函数，min(T(x))+ʎJ(f)，包含经验风险和结构风险。