Skip to main content

BayesDecisionTheory

· 4 min read

贝叶斯决策理论

简单来说就是逆概率。通过有限的信息推断全局信息。

image

先验概率​

​ 我们把P(A)称为"先验概率"（Prior probability），也就是在不知道B事件的前提下，我们对A事件概率的一个主观判断。

可能性函数​

P(B|A)/P(B)称为"可能性函数"（Likelyhood），这是一个调整因子，也就是新信息B带来的调整，作用是将先验概率（之前的主观判断）调整到更接近真实概率。

可能性函数你可以理解为新信息过来后，对先验概率的一个调整。比如我们刚开始看到“人工智能”这个信息，你有自己的理解（先验概率-主观判断），但是当你学习了一些数据分析，或者看了些这方面的书后（新的信息），然后你根据掌握的最新信息优化了自己之前的理解（可能性函数-调整因子），最后重新理解了“人工智能”这个信息（后验概率）

如果"可能性函数"P(B|A)/P(B)>1，意味着"先验概率"被增强，事件A的发生的可能性变大；

如果"可能性函数"=1，意味着B事件无助于判断事件A的可能性；

如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小。

后验概率​

P(A|B)称为"后验概率"（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。

全概率公式​

这个公式的作用是计算贝叶斯定理中的P(B)

假定样本空间S，由两个事件A与A'组成的和。例如下图中，红色部分是事件A，绿色部分是事件A'，它们共同构成了样本空间S。、

image

这时候来了个事件B，如下图：

image

全概率公式：

image

它的含义是，如果A和A'构成一个问题的全部（全部的样本空间），那么事件B的概率，就等于A和A'的概率分别乘以B对这两个事件的条件概率之和。

朴素贝叶斯分类器​

其实就是在贝叶斯公式的基础上加了一个条件独立性让他们可以拆开来单独计算。

然后一个细节就是贝叶斯平滑，当概率为0是使用拉普拉斯修正，要不然如果有一项概率为零的话，剩下的即使概率再大也白搭，这显然不合理。

半朴素贝叶斯分类器​

快逃！！！！