训练样本相当于给同学们练习的习题，测试过程则相当于考试，显然，若测试样本被用作训练了，则得到的将是过于“乐观”的估计结果．可是，我们只有一个包含m个样例的数据集D=．[（z1，可1），(X2，y2)，…，(Xm，Ym)]．，既要训练，又要测试，怎样才能做到呢？答案是：通过对D进行适当的处理，从中产生出训练集S和测试集T.下面介绍几种常见的做法．2.2.1留出法“留出法”(hold-out)直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T，即D=SUT，S nT=g．在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的估计．以二分类任务为例，假定D包含1000个样本，将其划分为S包含700个样本，T包含300个样本，用S进行训练后，如果模型在T上有90个样本分类错误，那么其错误率为(90/300)×100%=30%，相应的，精度为1- 30070=70070.