显然，对有限个样本点组成的训练集，存在着很多条曲线与其一致．我们的学习算法必须有某种偏好，才能产出它认为“正确”的模型．例如，若认为相似的样本应有相似的输出（例如，在各种属性上都很相像的西瓜，成熟程度应该E匕较接近），则对应的学习算法可能偏好图1.3中比较“平滑”的曲线A而不是比较“崎岖”的曲线B．归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或“价值观”．那么，有没有一般性的原则来引导算法确立“正确的”偏好呢？“奥卡姆剃刀”(Occam's razor)是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”．如果采用这个原则，并且假设我们认为“更平滑”意味着“更简单”（例如曲线A更易于描述，其方程式是可= _X2+ 6x+l，而曲线B则要复杂得多），则在图1.3中我们会自然地偏好“平滑”的曲线A.