朴素贝叶斯算法详解，naive bayes算法

今天小编为大家分享Windows系统下载、Windows系统教程、windows相关应用程序的文章，希望能够帮助到大家！

1、在介绍朴素贝叶斯算法之前，我们来看看关于统计学的一些基础知识：

2、贝叶斯定理需要先验知识作为支撑，而先验知识需要大量的计算和历史数据，因此在很长一段时间内，无法得到广泛应用。只有计算机诞生以后，它才获得真正的重视。人们发现，许多统计量是无法进行客观判断的，而互联网时代出现的大型数据集，再加上告诉运算能力，为验证这些统计量提供了方便，也为应用贝叶斯定理创造了条件。

3、若事件 、 、……构成一个完备事件组即，且都有正概率，那么对于任意一个事件A，有如下公式

4、贝叶斯公式与全概率公式相反，是在已知的基础上，求 。

5、通过对条件概率的简单变形，就可以得到贝叶斯公式：

6、贝叶斯公式由三部分形成，先验概率、后验概率、似然估计。其中后验概率=先验概率*似然估计。在上述公式中，是先验概率，是似然估计，是后验概率。

7、所谓先验概率就是在事件A发生之前，我们对B事件概率的一个判断。后验概率则指的是在事件A发生之后，我们对B事件概率的重新评估。似然估计是一个调整因子或者修正参数，在我们计算事件概率的时候，需要不断通过修正参数使得我们所求的概率无限接近于真实概率。

8、如果似然估计  ，那么表示A事件的发生提高了B事件发生的概率。相反的，如果似然估计 ，那么表示A事件的发生降低了B事件发生的概率。

9、从统计学知识回到我们的数据分析。假如我们的分类模型样本是：

10、即我们有m个样本，每个样本有n个特征，特征输出有K个标签，定义为。从样本我们可以学习得到朴素贝叶斯的先验分布，条件概率分布，然后我们就可以用贝叶斯公式得到:

11、分析上面的式子， =  即标签在训练集中出现的频数。但是是一个复杂的n个维度的条件分布，很难计算。所以为了简化计算，朴素贝叶斯模型中假设n个特征之间相互独立，于是有：

12、最后回到我们要解决的问题，我们的问题是给定测试集的一个新样本特征

13、，我们如何判断它属于哪个类型？

14、贝叶斯模型的目标是后验概率最大化来判断分类。我们只要计算出所有的K个条件概率

15、然后找出最大的条件概率对应的类别。

16、我们预测的类别是使最大的类别：

17、分析上式可知分母是固定值，因此预测公式可以简化为：

18、接着我们利用朴素贝叶斯的独立性假设，就可以得到通常意义上的朴素贝叶斯推断公式:

19、在朴素贝叶斯算法中，学习意味着估计和。可以用极大似然估计法估计相应的概率。先验概率的极大似然估计是：

20、其中即样本中标签出现的次数在总样本数中的占比。

21、第个特征可能的取值集合为，似然函数

22、即标签中，第个特征中各种取值的次数在标签出现总次数中的占比。

23、在用极大似然估计时，可能特征的某些取值在标签样本中没有出现，这时似然函数为，同时导致目标函数为，这会使分类产生偏差。为解决这一问题采用贝叶斯估计：

24、其中是标签中第个特征不重复数值的个数。当是就是极大似然估计，当时，称为拉普拉斯平滑。同样，先验概率的贝叶斯估计是:

25、 bigquant.com/community/t/topic/126054

26、小伙伴们如果觉得文章还行的请点个赞呦！！同时觉得文章哪里有问题的可以评论一下 谢谢你！

朴素贝叶斯算法属于分类算法。发源于古典数学理论，对缺失数据不太敏感，有稳定的分类效率，模型所需估计的参数很少，算法比较简单。

朴素贝叶斯算法，贝叶斯是说明这个算法和贝叶斯定理有联系，而朴素是因为处理实际的需要，做了一个简化——假设每个特征之间是独立的（如果研究的对象互相之间的影响很强，计算概率时考虑的问题非常复杂，做了独立假设，就可以分解后进行研究），这是这个算法模型与贝叶斯定理的区别。

将 x作为特征，y作为类别，那公式左边的 P（yi|x）就是说在知道特征 x的情况下，计算这个特征属于 yi类的可能性大小。通过比较找出这个可能性的值最大的属于哪一类，就将特征 x归为这一类。

第3步的计算就是整个关键所在，计算依据是上面的贝叶斯公式。

对于每一个类的概率计算，公式右边的分母的 P(x)都是相同的，所以可以不计算（我们只是对最终结果进行比较，不影响）。

P（yi）也称为先验概率，是 x属于 yi类的一个概率，这个是通过历史信息得到的（在程序实现的时候，历史信息或者说先验信息就是我们的训练数据集），我们通过对训练样本数据进行统计，分别算出 x属于 y1,y2,...,yn类的概率是多少,这个是比较容易得到的。

所以，主要是求 P（x|yi）= P(a1,a2,...,am|yi)

这个时候对于贝叶斯模型的朴素的独立性假设就发挥作用了(综合的计算变成了独立计算后的综合，简化模型，极大地减少了计算的复杂程度)：

P(a1,a2,...,am|yi)= P(a1|yi)P(a2|yi)...P(am|yi)

wwW.Xtw.Com.cN系统网专业的PC、手机系统开发下载平台，HarmonyOS系统、安卓、OS、windows电脑重装系统在线下载安装,操作系统平台技术学习,攻略教程,技术交流。