第6章 · 预见未来是一门艺术 #
不存在的预言专家#
麦可： 当你回顾过去，似乎一切都在预料之中，但事情可能以完全不同的方式展开。这是大部分的人都接受的事实，但通常不会有太多的后续追踪行动。我们从不会去查看发生了什么事。虽然有很多有经验的专家，但是经由大量研究可以发现，普通人通常可以在自己的游戏中击败专家。
菲利普： 本质上来说，这没有错。最好的预测员通常都是有才能的人，我不想贬低他们的资历，但是值得注意的是，被招募来参加美国情报界赞助的预测比赛的一群平民，他们的表现竟然打败了美国情报分析师。
麦可： 你能不能从头开始说明你的研究过程，以及你如何得出「一般人可以和拥有无限资金的人竞争，或甚至打败他们」的结论。
菲利普： 如果最基本的官僚制法则适用的话，这个研究专案根本就不该存在。想要成为官僚的人都知道，官僚制度的第一要点，就是绝对不要赞助任何可能会让自己丢脸、反过头来咬你一口的东西。「先进情报研究计划」（The Intelligence Advanced Research Projects
麦可： 在你内心深处，是否知道你的研究会得出他们可能不喜欢的结果？
菲利普： 那是一场正式的比赛。IARPA是在2010年成立的。有许多大学和顾问公司都在争取这笔金费。我的妻子芭芭拉．梅勒斯兼合作者和我当时都还在柏克莱，我们整理了一份柏克莱-宾大联合提案，因为我们将在2010年底时移往宾州大学。我们要和重要的研究型大学与顾问公司竞争。出于各种原因，我们组成的研究员联盟（我们称为「良好判断力专案」）成功的招募到优秀的预测员，也成功开发出训练预测员和团队合作的方法，更成功开发了从群众提取智慧的演算法------最后的结果是，「良好判断力专案」在比赛中脱颖而出。由于在最初两年取得决定性的胜利，IARPA因而终止了其他团队的计划，让我们得以招募到其他团队的优秀人才，并让我们与他们的预测市场和内部基准直接竞争。
麦可： 长远来看，你的工作类型会挑战许多「习惯做预测但没有被审查的人」。
菲利普： 这将会是一个长期的改变。我们谈到改变政界的一些基本作法。在先进科技公司和最复杂的政府机构高阶部门中，我们将会看到愈来愈多将不确定性量化的作法，甚至将超越已经在使用的大数据领域，并进入以前被认为是软性、主观的人类判断专属领域，该领域将被迫变得愈来愈明确，并且证明有附加价值。光是说自己是权威还不够。有一天，当你说某件事「有明显的可能」或是「可能发生」时，人们会说：「你有说跟没说一样。」
权威势力的介入
麦可： 让我举个多数人都能理解的例子。2003年的伊拉克战争中，关于大规模毁灭性武器（weapons of mass destruction，WMD）的议题。一般来说，美国两党的意见会是严重分歧，但有趣的是，在这件事情上小布希和希拉蕊．柯林顿都站在同一边。这显示在幕后，情报机构交出的资料让两党的人都相信同样的结果。除了巴拉克．欧巴马（Barack Obama）和柏尼．桑德斯（Bernie Sanders）等人之外，两党的人都相信有大规模毁灭性武器的存在。
菲利普： 伊拉克大规模毁灭性武器这件事很重要，因为如果不是情报界犯下如此严重的错误，我想那个研究专案甚至是比赛都不会发生。当中情局长告诉美国总统和其他重要官员，他认为伊拉克拥有大规模毁灭性武器是「板上钉钉」的事时（当情报界最高级别官员在至少存在一定歧异的情况下，使用这样的用语时），就是一个有问题的线索。回顾当时世界各地主要决策官员和情报机构可取得的资料，主流意见认为海珊（Saddam）图谋不轨------他违反联合国制裁。虽然没有直接证据，但是有很多间接证据。海珊带给人们他握有某些东西的印象，也许是因为他不想要显得很弱，但这也让最后毁了他的强硬派，更容易行动，这是另一件很讽刺的事。
一个完美的资讯处理器，在入侵伊拉克前评估海珊持有大规模毁灭性武器的机率是多少。我们知道这个机率不是1，也不是0。如果你对所有经验丰富的观察者及其对伊拉克大规模毁灭性武器的观点，进行计算某种加权平均值，就会发现以他们当时所有的资讯计算，伊拉克拥有毁灭性武器的机率高于50%，但也绝对低于100%。所以，该机率介于两者之间。假设是75%好了，如果美国国会认为可能性最低是75%，而不是100%确定，国会是否仍会表决同意行使武力？他们很可能不会同意，而且我认为世界历史可能也会有不同的发展。
麦可： 专家是如何做出这样的结论？政治是否在这时介入，不是基于可能性预估，而是采取政治上的确定无误？
菲利普： 很难重建当时的情况。哥伦比亚大学（Columbia University）的罗柏．哲维斯（Robert Jervis）写过一篇有关大规模毁灭性武器情报分析的有趣文章。文中指出，部分问题在于，这是在九一一事件之后发生的，因此没有人想要犯下型二错误（false negative mistake，编按：类似「错放」概念，像是明明有毁灭性武器却误判没有）的失误。未能有效针对盖达组织（Al-Qaeda）的攻击提出警告，在两年后又犯下一次型二错误的失误，会损害他们的政治前途。既然要在华府玩这种互相指责的游戏，就要确定第二次犯的失误和第一次是不同的类型。
可能出错的机率#
麦可： 名嘴都是聪明人。他们很好的展示了自己，但没有在预测中纳入这些机率加权。虽然他们承认自己只有60%的机率正确，反过来说，这也表示他们有40%的可能性是错的。如果我们的公共言论开始运用这种机率思维，我们会变成什么样子？对社会来说，面对不确定性变成是一个真正的教育过程。
菲利普： 一点也没错。单一事件的机率预估准确性本质上是不确定的，只要预测员没有笨到肯定的说机率为0，结果事情发生了；或是肯定表示机率是1，结果事件没发生。否则，当预测员的预测失准时，永远都可以辩称发生了一些不太可能发生的事。这表示我们必须开始像思考运动赛事那样预测和判断，像是考量职棒大联盟球员平均打击率，或是篮球员自由球的比例等。这些都是机率。
，预测界在之前预测最高法院有75%的可能性会推翻这个法律，但创立《纽约时报》中〈结论〉（Upshot）专栏、最世故的美国记者大卫．李昂哈特（David Leonhardt）却非常明确的表示，预测界猜错了。
当预测界给出75%的机率，就表示有25%的可能性不会发生。当你得知他们对不会发生的事提出75%的发生机率时，你会对预测界丧失多少信心？你会把他们全部归在同一类，然后说：「这些人什么也不懂。我再也不要听他们说的话了」，你会这样说吗？还是你会说：「预测界多年来对数百件事做过数百次预测，我们知道就平均而言，当他们说有75%的可能性时，就会有75%的时候真的会发生，所以预测界的人似乎很准？」
现在，对于这次预测失准的人来说，这对他们的名誉是好事吗？不是。你应该会对他们失去一点信心，但是应该失去多少信心？假设你在事前认为预测界有90%的机率是对的，现在你发现他们对最高法院的预测失准了。你应该将对他们的信心从90%往下降吗？也许降到88%或89%？但肯定不会降到0。
麦可： 你提到运用体育界的机率统计。这让我想到华尔街，很多交易者都在玩一场永不停止的游戏。这不一定与赚钱或赔钱的比率有关，而是与是否具有「正值」的数学优势可以下注。这不只是研究百分比准确度（percentage accuracy），对于预测天气来说，百分比准确度可能是好事，但对于生活中重要的事来说，这是关于赌注，以及找到「正值」的数学期望值。
菲利普： 确实。金融界人士相信，评估不确定性时若能更精确将会是一个优势。我们和大型避险基金AQR的风险长（Chief Risk Officer）亚伦．布朗（Aaron Brown）谈过。亚伦也是厉害的扑克牌玩家，他观察到，世界级的扑克牌玩家和厉害的业余玩家之间的差异是看得出来的，因为世界级的玩家比较擅长区分60／40的赌注和40／60的赌注。他们非常清楚，看到细微差异的优势。在金融界这是很容易理解的事，因为有期货交易（例如，石油价格将在未来高于或低于某个价格的隐含机率）。
资料有限，正确率就有限
麦可： 你在《超级预测》中提到一个有趣的例子，关于高盛的罗柏．鲁宾（Robert Rubin）。他是柯林顿政府的幕僚，是位很棒的机率思考者，在当时，许多人都很喜欢他，而且认为他在1990年代末期做得很好。但到了2008年崩盘时，他突然就变成了可恶、差劲的家伙。
菲利普： 思考机率的人未必永远都是对的，正如预测界对欧记健保的预测失准一样。但是他们的准确度还是相当高的，这表示如果你什么都不知道，最好认真参考他们说的话。
麦可： 2008年的危机很有意思，因为如果你研究2005年、2006年、2007年，甚至是2008年初时的评论，人们并没有预测到房地产的问题。但是，有趣的事发生了。当标普指数在2008年开始下跌时，价格走势似乎是对某些事情的启发。超级预测员在找寻汇总资料来源时，这种价格变动就是他们关注的内容。它可能是体育下注、拉斯维加斯的赔率，或各种体育书籍。
菲利普： 是的。超级预测员知道，世界上存在著许多事先处理过的有用资讯，所以他们在研究许多问题时，不必再花时间去处理那些资讯。现在，股市不是用来预测是否将发生严重经济衰退的可靠指标。保罗．山缪森（Paul Samuelson）有个知名的笑话是这样的：「过去五次经济衰退，有九次被预测中了。」但是这并不表示股市完全无法当成指标。超级预测员很清楚知道群众的智慧，他们也知道群众潜在的疯狂，他们会小心翼翼的预测。但群体智慧一直以来都是一个很好的指标，所以，如果超级预测员除此之外一无所知，可能就会想要用这个来开始预测。
麦克： 我摘录了你书中的一小段话：「研究员发现，只是请人们假设最初的判断是不对的，认真思考为什么这样判断后再做一次判断。当把产生的第二次预估结合第一次的预估时，精确性提升的程度几乎就像请别人做第二次预估一样。」我认为，这种作法并不直觉。
菲利普： 这并不直观，但我们经常在对自己说话。我们知道，自己的脑袋里经常会有互相冲突的意见。像是请某个人提供两个不同的单独预估，并没有听起来那么奇怪。
非机率性的命中注定#
麦可： 你的书中还提到另一个层面，是内部与外部的区别，以及这对超级预测技术和训练的影响。我猜这个概念源自于康纳曼，而且我知道你非常喜欢他。
菲利普： 与一般预测员相比，超级预测员更大的优势，在于他们倾向从外部观点开始，逐渐向内寻找思考，而不是从内部观点开始，或极少考虑外部观点。在预测比赛中，我们的预测员被问到各式各样的问题，包括东海的中日冲突、希腊脱欧、伊波拉病毒、北极海冰等------无所不问。不论是超级预测员或是一般预测员，所有人只会是被问到的问题中极小部分的专家，因为这些问题差异太大，而且非常重视心智灵活度。
例如，假设你参加了比赛，当有人问你非洲的某个独裁者再掌权一年的机率有多高时，你根本不知道那个国家在地图上的什么位置，更说不出有关那个独裁者的事以显示你的聪明才智。做为预测问题的起始位置，你根本一无所知。但如果你是超级预测者，你就不是一无所知，而是能知道一些事。超级预测者会很快的撷取一些资讯，发现该问题有个核心，那就是「独裁者通常不会轻易放手」。一旦独裁者掌权一段时间后，他再执政一年的可能性就会非常高。
这并不表示你会说：「哦，这个独裁者有95%的可能性会继续掌权。」但是这表示你最佳的预估会是：独裁者继续在位的机率很高。接着，你将根据相关细节的新证据、情势的内部观点进行调整；所以，如果你发现这位独裁者已经高龄91岁，而且患有摄护腺癌末期时，你就会说：「嗯，我要降低可能性。」如果你发现首都郊区的军事单位间爆发严重的冲突，你可能又会再调整可能性。你会从一个合理的机率判断开始，逐步调整以回应特定的资讯。大部分的人会立即从特定资讯开始，如果你想得到好的布里尔分数（Brier score，也就是我们使用的准确性衡量标准），这么做并不是个好主意。
麦可： 很多人会著执于「为何」，但是超级预测者更重视「如何」。他们采取资料导向的方法、把资讯拆解成小片段。
菲利普： 「如何」与「为何」的思考方式差异相当重要。我们说过，比起一般预测员或大部分的人，超级预测员比较不相信命运。一些有趣的心理学研究指出，当你提醒人们所有让他们做出人生中重要决定（包括他们如何决定和某个人结婚，或是后来住在某个城市，又或是从事某个工作）都是基于偶然时，也就是当你强调这些结果都是非机率事件时，大部分的人会说服自己这个事件是命中注定的。例如，乐透中奖者就是如此，当他们中奖时，他们不会认为这是侥幸，而是将其视有更深奥的抽象重要性。
超级预测员不是这么想的。他们会想：「好，事情就是发生了。」总会有人赢。不可能发生的事有时确实会发生。不太可能发生的事，不太可能永远不会发生。否则，就将违反机率法则。所以，这就是超级预测员，拥有不太浪漫的世界观。这表示超级预测员可能会看着自己的配偶说：「我想我可能会和其他433,000人中的任何一人结婚，但最后是我们在一起，所以我们就尽全力把生活过好吧。」
麦可： 你的研究有趣之处在于，你并没有试著对人们说：「嘿，这是关于意义」或「这是关于幸福」。你解释的是，人们可以如何开始预测社会现象，而且准确度比预期还要好，甚至比收入极高的预测专家更准确。但你并不是试图告诉人们世界就是这样，你应该要有这样的感觉。你会说：「资料在这里，要不要看随便你。」
菲利普： 一点也没错。
麦可： 是否有某个你尊敬或合作过的人，像是丹尼尔．康纳曼或纳西姆．塔雷伯，他们可能对超级预测的概念提出过一些批评？
菲利普： 通常都是程度上的问题，而非针对问题本身。纳西姆．塔雷伯比较强调极难预测、影响很大的事件，也就是所谓的黑天鹅。我想我们都同意，影响极大、发生机率很低的事件，对历史会有很重大的影响------这已经显示是正确的。我们倾向认为这是从白天鹅、浅灰色的天鹅、深灰色的天鹅，一直到黑天鹅这样的程度变化。我们认为，早期警示和早期机会指标对于不同灰阶程度的天鹅是有用的。而不只是单纯非黑即白的二分法。
因此，我认为我们把精力放在提高机率判断的准确度是很有价值的事，而我认为纳西姆．塔雷伯在他最新撰写的《反脆弱》一书中，比较重视把时间花在规画应急计划，以应对黑天鹅事件。我们强调的重点不同。我认为要规画应急计划就不能不知道事情发生的机率，所以我认为无法避免机率。你可以试著隐藏机率，但我觉得这么做并不聪明。所以，这是意见的不同。
而我和丹尼尔的意见差异又更小了。差异在于，找到预测能力较好的预测者，并训练这些预测者让他们的预测结果维持较好水准，接着将这些预测者聚集成团队，寻找能一致提供更好结果的演算法，我们对于这整件事情的可行性比他更乐观。我认为他并不否认存在一些改善的潜力，对于潜力的大小，他可能比我们更悲观一点，但这些是很微小的差异，而且我认为我们每个人都愿意视证据而做出回应。无可避免的，我们有时会有几年预测准确性比较低的时候，此时最好的预测员会被逼着做出比掷飞镖的猴子还要好的预测。
用数字取代含糊用语
麦可： 预测不具确定性。这就回到这次谈话的主题了，也就是发展和维持机率的心态。
菲利普： 想像一下，你和超级预测员在一间酒吧里，聊天的话题转到全球暖化，有人对超级预测员说：「嘿，你相信全球暖化吗？」典型的超级预测员会认为这是一个愚蠢的问题。原因有二：第一，全球暖化的定义并不明确。这表示到了2100年，地球的气温会比20世纪高出摄氏3.6度吗？全球暖化的门槛到底是什么？是摄氏2度吗？还是1度？超级预测员在谈论预测结果时，不喜欢模糊的用词。
他们在谈到明确的可能性时，也不喜欢模糊的用语，而倾向使用数字。这就是第二个原因，他们不喜欢被问：「你相信吗？」仿佛「相信」就像电灯开关一样，可以开启和关闭、不是0就是1，因为他们会区分不确定性的许多程度。向超级预测员提出问题的正确方式应该是：「你是否相信2100年地表平均气温会落在以下几个气温范围内？」
这并不是一般在酒吧会闲聊的话题。就连政治理论家也不太热衷这样的事，这变成了一个非常技术性的问题，我们坐下来试著计算并逐一查看所有的时间、逐一检视因果模型、查看气候模型，确认这些资料的准确性、看看有哪些批评，然后针对可能性做出合理的判断。
「我觉得根据2015年的气温飙升，到了2100年气温升高摄氏1.3度或甚至更高的可能性，已经从86%提升到88%了。」说这样的话并不会让人有政治意愿去为气候变迁采取行动，人们只会目光变得呆滞。政治的趣味都没了，也就是谴责另一方愚蠢、好骗或是顽固的机会，政治心理学好玩的地方都消失了。
麦可： 数学计算可能会变得比较复杂，但是过程简单来说就是：尝试、失败、分析、调整、再尝试。这就是我们小时候学习的方式，但是当我们成年后会发生一些事情。我们会忘记抱持怀疑的态度，试著在人生中加入一些科学原则。
菲利普： 那是因为很多这类的问题，像是「你相信气候变迁吗？」或「你支持X、Y还是Z？」这些都不是在请你针对选择某个政治路线的后果，考量可能性的机率判断。他们是在问你：「你属于哪个政治理念？你和我们同一边，还是和他们同一边？」超级预测员往往不会想要玩这样的游戏。有趣的是，超级预测员的背景相当多元化，例如从事软体业的人、金融分析师和一些政治风险分析师，但他们通常习惯把复杂问题分解为易于处理方式来思考。
预言家的养成技术
麦可： 你是否认为超级预测员是一种不同的人，还是他们是做不同事情的人？这最终是先天还是后天的问题吗？
菲利普： 这是关键的问题之一，答案应该是两者皆是。并不是任何人都可以成为超级预测员------有一些和先决条件有关的认知和动机。意外的是，有许多人只要遵循《超级预测》书中的指示，就可以大幅改善他们的机率预测能力，所以对许多人来说，都有很大的进步空间。当然，许多目前还不是超级预测者的人，如果有意愿这么做的话，也可以成为超级预测者。
核心在于，有时候有些人会问我：「这些业余的人怎么能打败情报分析师？」我不认为这是因为业余者比情报分析师还要聪明，我也不认为这是因为他们的政治知识更丰富。这是因为超级预测员相信混乱、真实世界事件的机率预测，是一门可以培养的技术，而且值得培养，他们正尝试这么做。他们投入努力，不论智商有多高，或是政治知识有多少，或是政治学问地位有多高都不重要。如果不认真看待机率预估，这个能力就永远不会变好。我们要学著区分60／40和40／60赌注的方式，而不是使用模糊的预测用语，像是「我认为X有明确的可能性」的说法。唯一的办法是做出明确的判断、获得回馈意见并学习。
麦可： 机率的思考方式并不是新的方式，但是你身处第一线，透过一些很好的例子让人们以不同的方式来看待这件事。这相当有趣。
菲利普： 这的确很有趣。早在戈巴契夫成为苏联共产党总书记前，我就开始工作了，当时的专家无法预测这件事，但事后每个人都可以解释为什么会如此。事情有多重大似乎并不重要，像这样的想法既草率、充满争议又自私自利。所以我把这视为人类进步重要的一部分，将人类的启蒙往前推进。400年后当人们回顾，目前我们进行政治辩论的原始方式时，他们对我们的评价不会比我们批判塞勒姆猎巫审判（Salem Witch Trials）还要客气。
编按：在《圣经》中手无寸铁的牧童大卫，仅用弹弓做武器，就打败了没有人敢为之抗衡的敌军巨人歌利亚。在此歌利亚代表IARPA，而大卫则象征作者的小型研究专案，歌利亚（IARPA）给大卫（小型研究专案）资金，即使这个专案可能失败并给机构带来麻烦，这种作法显示机构不同寻常的胆识和风险承担能力。
编按：又称《患者保护与平价医疗法案》（Patient Protection and Affordable Care Act，PPACA）或《平价医疗法案》（Affordable Care Act，ACA），由欧巴马总统任内于2010年签署成为法律，改革医疗保障。
麦可： 我要简短说明一下开启我们今天谈话的契机。2007年的某天，我在澳门正要搭乘渡船去香港。当时听到一群人在讨论工作，我听到其中一个人说他在体育频道ESPN工作，并参与扑克牌节目的制作。我后来在香港的海关处找到他，我说：「听著，我正在拍摄一部电影，和许多交易员和投资人谈话。他们一直在说他们的投资心态与扑克牌之间有所关联。我想请你帮帮我，我需要找一些扑克牌界的人。」这就是我如何来到拉斯维加斯，住进一位亲切高个子的男士家，他帮助我了解了心理学和机率------我想你应该也认识那位高个子男士。
安妮： 听起来那位男士像是我的哥哥，霍华．雷德勒（Howard Lederer）。
麦可： 没错。而和我说话的那个人是音乐家麦特．马蓝兹（Matt Marantz）。我在从澳门前往香港的渡船上遇到他完全是偶然。也因此，在这么多年之后，我才能寄一封电子邮件跟你说：「对了，我遇到你哥哥。」世界真小。
我想问你，身为一位知名的扑克牌选手以及研读心理学博士学位的人，是什么让你开始思考赔率？你开始玩扑克牌前就开始思考赔率了吗？
安妮： 真是有意思，因为你要我回想某件事，而我最常想到的一件事，就是我的记忆有多差。当你学会某事后，就很难回想起之前还不会时的情况。我这辈子花了很多时间在思考机率这件事，所以现在当你问我，我会给你像这样的答复：「我想在我七岁的时候，我可能还不会这样思考。」但我知道我20几岁时已是这么思考的。我们总是在玩牌和游戏，所以机率和波动性的概念，就是我们日常活动中重要的一环。我很难回想起过去，并回答这是何时发生的。人类很不擅长这件事。一旦我们有信念，就会相信一直都是如此。