损失函数（Loss Function）定义在单个样本上，算的是一个样本的误差。比如：

 

 

0-1损失函数:

感知器损失函数：

平方和损失函数：

绝对损失函数：

对数损失函数：

 

代价函数（Cost Function）定义在整个训练集上，是所有样本误差的平均值，也就是损失函数的平均，比如：

 

目标函数（Object Function）是最终需要优化的函数