13-1 从“勉勉强强”的推测变为“更加精确”的推理
至此，我们已经对于贝叶斯推理“虽然存在牵强之处，但至少比毫无头绪要强多了”的推理思路进行了数次解释说明。正因为这一点，贝叶斯推理也被称为“总经理的概率”（见7-3）。贝叶斯推理之所以显得有些“牵强”，主要是因为其中的先验概率。所谓先验概率，是指“在没有任何信息的情况下，暂且把所有可能性的概率设定为对等的（理由不充分原理）”，或者“从主观上进行设定”等，因而会令人感到“牵强”。
但反过来说，正是由于设定了这样的先验概率，贝叶斯推理从而具备了“即使只有少量信息（数据），也能够进行推理”的优点。这一点也正是贝叶斯推理优于标准统计推理（内曼－皮尔逊式推理）的地方。
此外，贝叶斯推理还具有“将已经在推理过程中使用过的信息反映到后验概率之后，即使把它丢掉也没关系”的良好特性，这一特点被称为贝叶斯推理的学习功能。
实际上，贝叶斯推理还具备另外一个学习机能，也就是“信息越多，推理结果就越精确”的性质，如图表13-1所示。
图表13-1 信息越多，推理结果就越精确
接下来，按照顺序来对这个问题进行具体说明。
13-2 壶的问题：取出2个球
在这里，我们再次使用第7讲中的、装有带颜色的球的壶的例子，并进行以下问题设定。
问题设定
面前有一只壶，已知这个壶不是A壶就是B壶，但是单从外表看不出究竟是哪个。而目前已知的是：A壶中有9个白球和1个黑球，B壶中有2个白球和8个黑球。
在第7讲中，我们从壶里取出一个球，通过观察球的颜色，来推测是A壶还是B壶的概率。得知取出的是黑球后，可以推测出该壶为A壶的后验概率是1/9，该壶为B壶的后验概率是8/9，具体过程参详见7-2的内容。
那么，我们设想一下：把第一次取出的球放回壶里，然后再一次取出一个球。在这种情况下进行推理，需要用到第一次取出的球的颜色和第二次取出的球的颜色。而第二次取出的球，有可能为黑球，也有可能为白球。上述方法在第12讲中已经涉及过，即通过多条信息进行推理的方法。
首先，由于我们并不知道该壶究竟是A壶还是B壶，因而想要对此进行推理，于是分为A和B两个类别。然后根据“理由不充分原理”，将各个类别的先验概率都设定为0.5。
接下来，请思考关于条件概率的问题。
如果第一次取出的球为黑球，第二次取出的球为白球，则把这种情况记录为“黑球＆白球”。然后，通过概率的乘法公式，可以计算得出：
（黑球＆白球的概率）＝（黑球的概率）×（白球的概率）
若该壶为A壶，则：
（黑球＆白球的概率）＝（黑球的概率）×（白球的概率）＝0.1×0.9＝0.09
若该壶为B壶，则：
（黑球＆白球的概率）＝（黑球的概率）×（白球的概率）＝0.8×0.2＝0.16
综上，通过不同颜色的球的组合，A和B这两个类别又各自分为4类，此时共出现8种互不相同的可能性。这8种可能性各自的概率，如图表13-2所示。
图表13-2 通过两条信息，组合出八种互不相同的可能性
13-3 第二次取出的也是黑球的情况下的推理
下面我们对于“第二次取出的依然是黑球”的情况进行推理：由于两次取出的都是黑球，符合“黑球＆黑球”的条件，那么便可以排除掉除“黑球＆黑球”以外的所有可能性，如图表13-3所示。
图表13-3 第二次取出的也是黑球情况下的推理
通过标准化条件，计算出后验概率：
（“黑球＆黑球”且为A壶的后验概率）：（“黑球＆黑球”且为B壶的后验概率）
＝0.5×0.1×0.1:0.5×0.8×0.8
＝0.01:0.64
通过以上计算，可以得出后验概率：该壶为B壶的概率高达64/65（约为98％）。换言之，可以得出如图表13-4这样的阶段性的推理结果。
图表13-4 两次均取出黑球情况下的推理
如果第一次取出的是黑球，那么该壶为B壶的后验概率提高到约0.89。第二次再取出的如果依然是黑球，那么该壶为B壶的可能性就变得更大，后验概率上升到了约0.98。换言之，由于第二次和第一次取出的球颜色相同，因而强化了之前的推理结果。
13-4 第二次取出的是白球的情况下的推理
那么，如果第二次取出的是白球，又会是怎样的情况呢？
从图表13-2的8种情况中，排除掉“黑球＆白球”以外的所有6种情况，只留下“黑球＆白球”的情况。
图表13-5 第二次取出的是白球情况下的推理
结果如图表13-5所示，接下来再通过标准化条件，计算后验概率：
（“黑球＆白球”且为A壶的后验概率）：（“黑球＆白球”且为B壶的后验概率）
＝0.5×0.1×0.9:0.5×0.8×0.2
＝0.09:0.16
＝9:16
＝9/25:16/25
＝0.36:0.64
根据上述过程，可以得出以下阶段性推理结果，如图表13-6所示。
图表13-6 两次均取出黑球情况下的推理
我们应该怎样来理解这个结果呢？由于第一次取出的是黑球，因而该壶为B壶的可能性增大；又因为第二次取出的是白球，因而该壶为B壶的可能性有所减小。从概率的角度来讲，在第一次取出黑球之后，该壶为B壶的概率高达约0.89，而第二次取出白球之后，该壶为B壶的概率下降至0.64。但由于这一概率依然大于0.5，所以，虽然不能回到概率完全相等的中间状态，但认为该壶为B壶的可能性有所降低这一事实，是不容置疑的。
13-5 根据最新的观察结果，结论发生变化
如前2节中所述，若观察到的结果为黑球，则该壶为B壶的后验概率增大；若观察到的结果为白球，则该壶为A壶的后验概率就增大。所以会理所应当地认为“白球占绝大多数的是A壶、黑球占绝大多数的是B壶”。将A壶的后验概率设为a，B壶的后验概率设为b，如图表13-7所示。
图表13-7 通过信息推测结果会倾向于哪边
我们想一想，究竟通过怎样的计算方式，才能使a和b发生变化呢？
现在，假设在第n次的推理中，A壶的后验概率为a，B壶的后验概率为b。那么在第（n＋1）次推理中，结果为黑球时的结果会是怎样呢？
根据上一讲中所提到的贝叶斯推理的“序贯理性”来分析，如果计算第（n＋1）次推理的后验概率，并不需要列举前面n次的球的颜色。这是因为结果已经全部反映到第n次的后验概率中了。只要将第n次的后验概率（A壶→a、B壶→b）设定为先验概率，然后通过第n次取出黑球的信息，就可以进行贝叶斯推理了。这一点，通过分析图表13-8就可以明白，之后，进行下述标准化处理计算即可。将第n＋1次观察的后验概率设定为a’、b’。
（第n＋1次为黑球时，A的后验概率）：（第n＋1次为黑球时，B的后验概率）
＝a’：b’
＝a×0.1：b×0.8
＝a:8b
从a’：b’＝a:8b中，我们可以看出，第n次推算结果的比例关系中，只有b侧增大到了之前的8倍（需要注意的是，使相加之和为1）。因此，仅凭感觉我们就很容易理解：a’比a小，b’比b大。
图表13-8 第n＋1次为黑球时的变化
顺便说一下，如果在n＋1次中观察到白球，则可以分析出：a’：b’＝9a:2b，a’比a大，b’比b小（这一情况将在练习题部分出现）。
13-6 观察次数越多，推算结果就越接近实际
正如上一节中所讲，在第n次的观察中，A的后验概率为a，B的后验概率为b，此时，如果第n＋1次观察为黑球，那么后验概率的比例关系则变为：
a：b→a:8b
这说明，该壶为B壶的可能性增大了。那么，为什么B的一侧会变成8倍呢？这是因为，这一变化反映了：从A中观察到黑球的概率是0.1，而从B中观察到白球的概率是0.8，这一比例增大了8倍。相反，如果在第n＋1次观察到白球，后验概率的比例关系则变为：
a：b→9a:2b
那么，该壶为A壶的可能性增大。
现在，假设该壶为B壶。此时，反复观察会发现，取出黑球所占的比例比白球要大。因此，反复观察的次数越多，B侧的数值b更大的次数也越多。那么，如果进行多次观察，则后验概率中的b就会无限接近1，而a无限接近0。这意味着，基本上能够断定：此壶为B壶。换言之，能够说明“实际情况与推理结果——该壶为B壶，是一致的”。
如果数学计算来解释上述问题，将会非常烦琐复杂。因此，以下在图表13-9中为大家列举数值来进行说明，这样更加简洁易懂。
图表13-9 观察到黑球的次数＆后验概率＆发生的可能性
图表13-9体现的是：在观察20次球的颜色之后，根据出现黑球的次数来推算“该壶为B壶”的后验概率。其中第2行表示“该壶为B壶”的后验概率的数值。
例如，在“黑球出现了6次”的情况下，通过图表中我们可以看出“该壶为B壶”的后验概率为0.0002。也就是说，如果黑球只出现6次，那么“该壶为B壶”的后验概率将是一个极小的数值。而在“黑球出现了9次”的情况下，时，“该壶为B壶”的后验概率为0.898。换言之，只有当黑球出现9次左右的，“该壶为B壶”的后验概率才会为一个很大的数值。
因此我们想要知道的是，“如果该壶为B壶，那么能够观察到多少次黑球呢？”表中第3行表示：当该壶为B壶时，第1次便观察到黑球的概率。通过观察表中数值可分析出：当该壶为B壶时，观察到黑球的次数少于9次的可能性是很小的，因此也可以认为，这种情况根本不会发生。因而，即使判定观察到黑球的次数在10次以上，风险也不会很大。此时，根据贝叶斯推理计算出的“B壶的后验概率”b的数值均为99％以上。换言之，通过贝叶斯推理能够得出“毋庸置疑，此壶为B壶”的判断（当然，也有一种微乎其微的可能性：观察到黑球的次数在8次以下，这种情况下，推理就有可能是错误的）。
通过上述具体事例，大家应该已经理解了“观察次数越多，推算结果就越接近实际”的观点。
第13讲·小结
1．贝叶斯推理描述了“根据获得的信息，判断结果会发生变化”的情况。
2．若观察到黑球，那么判断就会倾向于黑球多的壶；若观察到白球，判断就会倾向于白球多的壶。
3．在贝叶斯推理中，只要信息足够多，就能够得出正确的结论。
练习题
答案参见此处
已知问题设定与本讲正文内容相同。请在下面的括号中填入合适的数值。
现在，假设在第n次的推理中，得出“该壶为A壶”的后验概率为a，该壶为B壶”的后验概率为b。在此前提下，又得知第n＋1次的观察结果是白球。假设第n＋1次观察之后，后验概率分别为a’和b’，根据序贯理性，后验概率之比为：
a’：b’＝a×（）：b×（）＝（）：（）
使其满足标准化条件，则：
从这个式子中，能够知道a’比a（）、b’比b（）
专栏 column 帮助贝叶斯复兴的学者们
由于受到费希尔、内曼等人的猛烈抨击，贝叶斯逆概率的观点在20世纪初一度被逐出学术圈。而此后，英国的欧文?古德和丹尼斯?林德利，美国的莱昂纳多?萨维奇这三位学者又于20世纪50年代帮助其成功复兴。
欧文?古德曾在第二次世界大战中的英国军队里与数学家艾伦?图灵一同从事密码破译的工作。当时，他们通过运用贝叶斯推理，取得了显著的成果。虽然在很长一段时间里，该成果被视为机密，受到严密保管，但自从被允许公开之后，就发表了出来。而丹尼斯?林德利则是在通过数学方法验证统计学的过程中，慢慢地开始赞同贝叶斯逆概率的学说。此后，他成为在英国普及贝叶斯统计学的先锋人物。
其中，影响力最大的当属莱昂纳多?萨维奇的研究。萨维奇天生高度近视，这对他的学习造成了极大的影响。由于智力障碍以及被人误解，他在升学时也遭遇了很大的困难。后来好不容易进入化学学科学习，又因为不适合做实验，被赶了出来。在芝加哥大学学期间，萨维奇和经济学者米尔顿?弗里德曼一起工作。自此，他的工作重心转移到统计学研究上。1954年发行出版的《统计学基础》介绍了是一种“用数学逻辑使主观概率合理化”的理论，这对于此后的概率理论和统计学产生了重大影响。有趣的是，萨维奇本人也没想到，这篇论文居然能够帮助贝叶斯逆概率复兴，甚至连很早就知道这篇论文的丹尼斯?林德利也未能预料到。此时的二人还不完全属于贝叶斯流派，但此后萨维奇的研究逐渐开始引领后来被称为“贝叶斯决策理论”的领域，他的发表成果成为圣典般的著作。