高斯判别分析、朴素贝叶斯和逻辑回归

      近来看论文中经常看到GDA和朴素贝叶斯，并且论文中说的算法中用到的贝叶斯公式，对怎么用的原理比较困惑，今天主要看了斯坦福机器学习的关于GDA，NB和LR的讲义部分。理解了贝叶斯公式在GDA和NB中的原理，以及GDA和LR的关系。

      与以前学习贝叶斯公式相比贝叶斯公式：对于目标B有不同的到达方式A_i，i=1,2,3,...,n。已知p(A_i)和p(B|A_i)的话，如果知道B发生了，可以知道A_i的后验概率。

      贝叶斯公式图示

      在GDA和NB中，类别标签就相当于A_i,每一个特征相当于B的一个分量。根据采集到的样本和样本的标签，根据先验概率最大化思想可以计算出每一个类别的概率p(A_i)和条件概率p(B|A_i)，然后对于测试样本可以根据贝叶斯公式计算这个样本属于每一个类别的后验概率，取最大的即为预测类别。

原文：http://blog.csdn.net/zhangzhengyi03539/article/details/42300887