需注意的是，训练／测试集的划分要尽可能保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响，例如在分类任务中至少要保持样本的类别比例相似．如果从采样(sampling)的角度来看待数据集的划分过程，则保留类别比例的采样方式通常称为“分层采样”(stratifiedsampling).例如通过对D进行分层采样而获得含70070样本的训练集S和含30070样本的测试集T，若D包含500个正例、500个反例，则分层采样得到的S应包含350个正例、350个反例，而T则包含150个正例和150个反例；若S、T中样本类别比例差别很大，则误差估计将由于训练／测试数据分布的差异而产生偏差，另一个需注意的问题是，即便在给定训练／测试集的样本比例后，仍存在多种划分方式对初始数据集D进行分割．