ID3方法的目的是降低系统信息熵。

顺序前进法的缺点是不能剔除已入选的特征，无法保证全局最优。

特征提取不仅可以降低特征空间的维度，还可以消除特征之间的相关性。

动态顺序前进法（l-r）法是按照单步最优的原则从未入选的特征中选择l个特征，再从已入选的特征中剔除r个特征，使得仍保留的特征组合所得到的J值最大。

剪辑近邻法去除的是远离分类边界，对于最后的决策没有贡献的样本。

顺序后退法（SBS）是从0个特征开始，每次从已经入选的特征中剔除一个特征，使得仍保留的特征组合所得到的J值最大，是一种特征选择的最优算法。

我们在对某一模式x进行分类判别决策时，只需要算出它属于各类的条件风险就可以进行决策了。

多类问题的贝叶斯分类器中判别函数的数量与类别数量是有直接关系的。

分级聚类又叫层次聚类，需要构建聚类树。

参数估计是已知概率密度的形式，而参数未知。