理想的判据应该对特征具有单调性，加入新的特征不会使判据减小。

多类问题的贝叶斯分类器中判别函数的数量与类别数量是有直接关系的。

概率密度函数的估计的本质是根据训练数据来估计概率密度函数的形式和参数。

动态顺序前进法（l-r）法是按照单步最优的原则从未入选的特征中选择l个特征，再从已入选的特征中剔除r个特征，使得仍保留的特征组合所得到的J值最大。

一个数据集能生成多种决策树。

k-近邻法中k的选取一般为偶数。

分级聚类又叫层次聚类，需要构建聚类树。

顺序后退法（SBS）是从0个特征开始，每次从已经入选的特征中剔除一个特征，使得仍保留的特征组合所得到的J值最大，是一种特征选择的最优算法。

利用神经网络对两类问题进行分类时，可以用一个输出节点来实现。

顺序前进法的缺点是不能剔除已入选的特征，无法保证全局最优。