在进行交叉验证时，一般让临时训练集较大，临时测试集较小，这样得到的错误率估计就更接近用全部样本作为训练样本时的错误率。

基于数据的方法适用于特征和类别关系不明确的情况。

k-近邻法中k的选取一般为偶数。

顺序前进法的缺点是不能剔除已入选的特征，无法保证全局最优。

在感知器算法中训练样本需要经过增广化处理和规范化处理。

动态顺序前进法（l-r）法是按照单步最优的原则从未入选的特征中选择l个特征，再从已入选的特征中剔除r个特征，使得仍保留的特征组合所得到的J值最大。

ID3方法的目的是降低系统信息熵。

多类问题的贝叶斯分类器中判别函数的数量与类别数量是有直接关系的。

过拟合不会影响分类模型的泛化能力。

概率密度函数的估计的本质是根据训练数据来估计概率密度函数的形式和参数。