互信息

给定两个随机变量x,y，他们的互信息（mutual information）有他们的概率密度函数来定义

 

    

最大决定性（max-dependency）

把互信息的思想用在特征选择上，我们是要选取一个特征子集，使得能最好的决定相关类别，我们管这个叫最大决定性（Max-Dependency），定义如下

    

由此可见

 

    

最大相关和最小冗余（max-relevance and min-redundancy）

定义最大相关性

最大相关性是特征与类别之间的相关性

    

最小冗余性： 两两特征之间的冗余性

    

把这两个概念相结合，我们用Max-R 和Min-R 来作为特征选择的原则，即希望选取，与类别最相关并且相互之间冗余性最小的特征。

    

显然，如果是像Max-Dependency 一样的化，直接选取子集，是一个NPhard 问题。

在实际操作上我们都是用用增量选取的方式来解决这个问题的，当已经有时，从剩下的特征集合中选择，显然我们希望选一个和类别最相关并且和已有的特征之间冗余性最小的特征