概率文盲

当我写下这篇文章，美国总统大选即将结束 [1]，关于 Nate Silver 做出的预测，出现了一场旁观辩论。许多共和党人声称他是民主党人的代言人，他预测奥巴马获胜的概率为85%是假的 [2]。我的一部分希望我认识更多不善于计算的共和党人，这样我可以和他们打赌。也许更好的愿望是民调结果相反，因为我更多的是民主党倾向的朋友。实际上，无论哪种方式，我都没有太大收获，因为我认识的大多数人都善于计算。可悲的是，这在一般情况下并不适用——这场闹剧说明了大多数人对概率的深刻无知，这对整个社会，尤其是软件开发，都有一些重要的影响。

当我阅读这方面的资料时，不难找到概率文盲的证据

• 许多人声称 Silver 预测奥巴马会获胜。这不是真的，Silver 说他的模型预测奥巴马获胜的概率为 85%，这与预测奥巴马获胜完全不同。（这大致相当于说，如果罗姆尼掷骰子并掷出 6，他就会获胜，这真的不太可能。 [3]）
• 有人说你不应该听 Silver 的，因为民调经常出错，但 Silver 声称他的模型确实试图将这一点考虑在内。Silver 说民调自信地表明奥巴马会获胜，但他的模型给罗姆尼 15% 的获胜机会，因为 这是民调出错的可能性。
• 人们声称，在周二举行选举时，Silver 的预测将被证明是正确还是错误。但一个事件不能说明太多关于潜在分布的信息。你必须进行几十次选举才能真正测试模型。 [4]

这场旁观辩论引起了我的兴趣，因为它触及了我认为人们在理解概率及其正确使用方法方面存在的一些根本问题。首先是确定性问题——人们希望听到二元答案，而不是概率答案。当然，我们在项目规划中也看到了这一点，人们希望得到确切的数字，而不是各种结果的范围和概率估计。85% 和 100% 之间的差异会导致一些严重的错误。我对确定性产生了强烈的怀疑，以至于一个人看起来越确定，我就越不愿意相信他。 [5]

这场争论的一个方面是如何利用民调信息进行预测。如果我今天去 RealClearPolitics 网站，我会看到这场选举是“势均力敌”的，因为他们分析中 11 个关键州被标记为“势均力敌”。Silver 说这种结论是完全错误的。RCP 目前的民调平均值显示奥巴马在俄亥俄州的平均民调领先优势为 3.9%。Silver 认为，当你对这些多个民调进行平均时，由于统计抽样造成的误差幅度 约为 1.5%——因此，如果民调准确，奥巴马将在俄亥俄州获胜（你当然不能说俄亥俄州是势均力敌的，这意味着 50% 的胜率）。

人们暗示这场竞选的概率比 Silver 预测的更紧密，有很多原因。有些是合理的，例如对 Silver 用于预测的模型存在分歧。有些则不太合理：人们害怕被认为是错误的，他们沉迷于党派支持 [6]，或者他们希望让这场竞选看起来更刺激，以便吸引眼球。

一个观点是，这种对“势均力敌”的不恰当使用是概率文盲的结果。由于人们不理解 85% 的含义，因此我们将它称为“势均力敌”。由于有大量经验证据证明这种混淆，我对这种观点表示同情。

但这里真正的问题是潜在的概率文盲。我们越来越面临一个理解概率至关重要的世界。理解概率是如何运作的，是理解统计数据的重要基础——而统计数据是理解如何理解现在可供我们使用的大量数据的关键工具。这可以使全球意义（关于气候变化的大部分争论都是基于统计数据的），但也与更本地的情况有关。

我认为，我们正在看到 数据在生活中扮演的角色正在发生重要转变。对于软件开发人员来说，这意味着我们更多的工作将围绕理解这海量数据。其中一个重要部分是帮助人们区分信号和噪声——这将需要更好地理解将两者区分开所需的概率和统计知识。作为软件专业人员，我们需要在这方面带头，这样我们才能履行避免扭曲信息的职责，我们还需要教育数据消费者，以便他们能够更好地解读数据。 [7]

进一步阅读

• 好吧，实际上不是阅读，但我最喜欢的关于概率文盲的介绍之一是 随机性——Radiolab 的一集精彩节目。
• 这给了我另一个机会推荐 思考，快与慢
• 我对 538 博客 最欣赏的是，他讨论了如何进行预测，包括各种不确定性领域。Silver 已经写了一本关于预测模型的 新书——我还没有机会阅读，但它在我的阅读清单上。
• 虽然 538 最近受到了很多关注，但一些类似的方法包括 普林斯顿选举联盟（由 Sam Wang 领导）、DeSart 和 Holbrook、Gott 和 Colley 以及 Drew Linzer (Votamatic)。Sam Wang 有一篇关于 这些模型的比较 的优秀文章。 [8]