精準預測 The Signal and the Noise
精準預測
如何從巨量雜訊中，看出重要的訊息？
The Signal and the Noise
Why So Many Predictions Fail—but Some Don’t
Nate Silver──著
蘇子堯──譯
三采──出版
奈特．席佛 Nate Silver數據不會說話，是你在為它說話。
他精通統計學，是美國當代知名的統計與預測鬼才。他從小就對數字與思考展現興趣與天分，六歲便開始預測棒球賽事。高中時代曾拿過密西根州辯論冠軍，後來進入芝加哥大學主修經濟學，並在大三前往倫敦政經學院研修一年。大學畢業後，進入安侯建業事務所（KPMG）擔任顧問。利用工作之餘，研發出一套創新的棒球賽事預測系統PECOTA，因為精準至極，甚至吸引棒球界聖經 Baseball Prospectus 於2003年向他收購。席佛也將他統計與預測的天賦應用於德州撲克，曾經短期內就讓他贏得上千萬元財富。
他在2008年美國總統大選之前成立了「五三八」網站，發表他的選情預測，獲得廣泛注意，隨後他在這個網站公布預測，成功預測歐巴馬勝選，而且是在50州的個別選舉結果中，49州預測正確，35名參議員選舉更完全命中。2012年的總統大選，他再度成功預測歐巴馬勝選，這次50州全部命中。2009年《時代雜誌》並將他列入「世界最有影響力的百大名人」。許多人對於他的統計模型與精準預測的技術都十分折服與好奇，本書是他首度公開自己的預測祕訣，以及他對各領域預測的研究與思考。
身處「巨量資料」（big data）時代，照理說我們擁有空前充足的資料，去做各項預測。但各行各業掌握最多資料的專家與決策者，卻都還是不斷做出失敗的判斷，這是怎麼回事？作者奈特．席佛指出，人的解讀比數字更關鍵，而預測最難的部分在於：人要懂得分辨出哪些是無意義的雜訊，哪些才是關鍵的訊號。誤把雜訊當訊號，做出來的預測，自然不會準確，甚至會造成嚴重的謬誤與損失！
數據導向的預測會成功也會失誤，要求更多數據之際，人更應該自我要求。
- 預設立場或過度自信，對預測來說，是非常可怕的事。
- 預測不是在追求是與非，而是估算事情發展的「機率」。有精準的機率，才能做出有利的決策。
- 做預測時，最怕一看見「有相關」就解釋成「因果關係」。（冰淇淋 vs. 森林大火）
- 預測時不能忽略「誤差」，並要勇於承認有「不確定性」。 不然你會過度解釋，變成不精準的預測。
- 根據預測出來的機率，做了最有利的選擇，即使最後結果不好，仍然是好預測。
- 在很多情境中，不是一定要追求終極完美的預測，只要預測比競爭對手好，你就贏了。
- 當大家不免被雜訊迷惑時，問問自己，你有什麼法寶，能讓自己更接近真相？跟著法寶走，不要跟著群眾走。
- 有新的重大資訊進來時，能保持客觀，隨時更新的預測，才有可能是精準的預測。
這本書談的是資訊、科技，以及科學的進步。這本書談的是競爭、自由市場，以及思想的演變。這本書談的，是讓我們比任何電腦都還要聰明的東西，也是本探討人為錯誤的書。這本書談的，是我們如何一步步學會掌握客觀世界的知識，而我們為何有時又會倒退。
這本書談的是預測（prediction），也就是上述這一切的交集。這本書研究的是為什麼有些預測可以成功，為什麼有些會失誤。我希望，對於如何規劃我們的未來，我們可以得到多一點的了解，比較不會去重蹈覆轍。(前言, p.14)
最早的資訊革命不是微晶片出現後才到，而是因為印刷術。約翰尼斯·古騰堡（Johannes Gutenberg）於一四四〇年的發明，這也是一七七五年工業革命的起因之一。印刷術也早成了歐洲的啟蒙運動，以及美國共和政體的建立。
一五二四年到一六四八年，路德的宗教改革造成的教會分裂很快就讓歐洲陷入戰爭中：德國農民戰爭（German Peasants' War）、施馬爾卡爾登戰爭（Schmalkaldischer Krieg, 德語）、三十年戰爭（Thirty Years' War）、法國宗教戰爭（Guerres de religion, 法語）、蘇格蘭內戰（Scotland Civil War）、愛爾蘭同盟戰爭（Irish Confederate Wars）還有英國內戰（English Civil War）。一四七八年開始的西班牙宗教審判（Inquisición española, 西班牙語）或一五〇八年到一五一六年的康布雷同盟戰爭（The War of the League of Cambrai），雖然跟新教的傳播沒那麼相關，但也不可忽略。單是三十年戰爭就殺死了德國總人口的三分之一，而十七世紀或許是歷史來最血腥的一個世紀，只有二十世紀初期參堪比擬。
「人是自己命運的主人」這樣的想法開始廣泛傳播。預測（predict）和預料（forecast）這樣的字眼今日多半能交互使用，但在莎士比亞的時代是不一樣的。預測是預言者對你說的話；預料則比較像是卡修斯的想法。
預料來自英語的日耳曼語字跟，預測則來自拉丁文。預料反映出的是全新的新教俗世觀，而不是神聖羅馬帝國的理想世界關。做出預料通常意謂著要在不確定的狀況下做出規劃。這就表示要能深謀遠慮、有智慧且勤奮刻苦，比較像是今日的「遠見」（foresight）。
這些特質跟新教的工作倫理緊密相關，馬克思·韋伯（Max Weber）認為這一點促成了資本主義和工業革命。
資訊總量快速增加，速度之快，讓我們對如何處理資訊的理解，還有我們分辨有用的資訊和假事實的能力都跟不上。矛盾的是，多了這麼多共享的知識，結果卻是加深了國家與宗教之間的隔閡。我們擁有「太多資訊」的時候，本能會採取的簡便作法就是選擇性處理，挑出我們喜歡的部分、忽略剩下的部分，找和我們做相同選擇的人結盟、與其他人為敵。(前言, p.16)最熱中於印刷術的早期客戶是用印刷來傳教的那些人。馬丁·路德（Martin Luther）的《九十五條論綱》（Disputatio pro declaratione virtutis indulgentiarum, 拉丁語）並沒有這麼激進；類似的觀點早已經過人們反覆辯論。伊莉莎白·愛因斯坦（Elizabeth Eisenstein）寫道：真正造成革命的，是路德的論綱「不是只在教堂的門上釘著」。相反的，這些論綱用古騰堡的印刷術複製了至少三十萬次。
一五二四年到一六四八年，路德的宗教改革造成的教會分裂很快就讓歐洲陷入戰爭中：德國農民戰爭（German Peasants' War）、施馬爾卡爾登戰爭（Schmalkaldischer Krieg, 德語）、三十年戰爭（Thirty Years' War）、法國宗教戰爭（Guerres de religion, 法語）、蘇格蘭內戰（Scotland Civil War）、愛爾蘭同盟戰爭（Irish Confederate Wars）還有英國內戰（English Civil War）。一四七八年開始的西班牙宗教審判（Inquisición española, 西班牙語）或一五〇八年到一五一六年的康布雷同盟戰爭（The War of the League of Cambrai），雖然跟新教的傳播沒那麼相關，但也不可忽略。單是三十年戰爭就殺死了德國總人口的三分之一，而十七世紀或許是歷史來最血腥的一個世紀，只有二十世紀初期參堪比擬。
“But men may construe things after their fashion, Clean from the purpose of the things themselves.”但是，莎士比亞的《凱薩大帝》可能讓人想起古代對預測的概念，我們可能詮釋它，讓我們可以從之得到好處，卡修斯（Cassuis）說：「有些時候，人是自己命運的主人。」（Men at some time are masters oftheir fates.），希望說服布魯斯特（Brutus）參與對抗凱薩的密謀。
「人總是照自己的意思解釋事情，完全錯失了這些事情本身真正的意義。」
──莎士比亞（William Shakespeare）《凱薩大帝》（Julius Caesar）
「人是自己命運的主人」這樣的想法開始廣泛傳播。預測（predict）和預料（forecast）這樣的字眼今日多半能交互使用，但在莎士比亞的時代是不一樣的。預測是預言者對你說的話；預料則比較像是卡修斯的想法。
預料來自英語的日耳曼語字跟，預測則來自拉丁文。預料反映出的是全新的新教俗世觀，而不是神聖羅馬帝國的理想世界關。做出預料通常意謂著要在不確定的狀況下做出規劃。這就表示要能深謀遠慮、有智慧且勤奮刻苦，比較像是今日的「遠見」（foresight）。
這些特質跟新教的工作倫理緊密相關，馬克思·韋伯（Max Weber）認為這一點促成了資本主義和工業革命。
巨量資料
現在流行的詞是「巨量資料」（big data）。IBM估計，我們每天會生產兩百五十萬兆位元的資料，有超過之九十的資料是在過去兩年中製造出來的。
資訊指數性的增長，有時被視為萬靈丹，就如一九七〇年代的電腦一樣。《連線雜誌》（Wired magazine）的編輯克里斯‧安德森（Chris Anderson）在二〇〇八年寫道，光是資料的量就可以免去對理論的需求，甚至連科學方法都不必了。
這本書顯然是在擁護科學和科技，而我也認為這是本非常樂觀的書。但這本書的主張是：這些觀點錯得離譜。數字沒辦法為自己講話。是我們在為它們說話。我們賦予它們意義。就如凱撒一樣，我們可能會用對自己有利的方式來解釋資料，讓資料脫離客觀的現實。
以數據為導向的預測會成功──也會失誤。如果我們否定自己在這個過程中扮演的角色，失誤的機率就會提高。在我們對資料做更多的要求之前，我們必須先多要求自己。(前言, p.22)
但是這些預測有所進步的案例必須用一連串的失誤來權衡。
如果有什麼東西可以用來定義美國人──有什麼讓我們與眾不同，那就是我們相信卡修斯的想法，認為我們可以掌控我們自己的宿命。我們的國家是在工業革命之初由一群宗教的反抗者所建立，他們看出思想的自由流通不只有助於散播他們的宗教信念，也可以散播科學和商業的信念。我們這個國家大部分的優勢和劣勢──我們的智巧與勤勉，我們的傲慢與不耐──都來自於我們堅定不移的信念，相信我們可以選擇自己的走向。
但是這個全新的千禧年卻給了美國人一個可怕的開始。我們沒有預見到九一一攻擊的到來。問題不在於缺乏資訊。就像六十年前珍珠港攻擊的狀況一樣，所有的訊號都在。但是我們沒有把訊號整合起來。我們缺乏適當的理論來說明恐怖份子會怎麼行動，所以我們對資料無視，恐怖攻擊對我們就成了「未知而不自知」（unknown unknown）。
最近的全球金融危機也伴隨著普遍的預測失誤。我們輕易相信模型，沒有體認到我們所選擇的假設有多麼容易影響到這些模型，造成了損失慘重的結果。同時，就較為一般的基準來看，我發現我們沒辦法在幾個月之前就提前預測到經濟衰退，而且不是因為不夠努力。雖然在控制通貨膨脹方面已有相當的進展，但我們的經濟政策決策者卻是在盲目行事。(前言, p.24)
也有整個學科預測不斷失準，常常讓社會付出極大的大價。想想生物醫學研究之類的東西。二〇〇五年，一位在雅典長大、名叫約翰‧約安尼迪斯（John P. Ioannidis）的研究人員發表了一份備受爭議的論文，標題為〈為何已發表的研究結果大多是錯的〉（Why Most Published Research Findings Are False）。這篇論文研究的是在同儕審查的期刊上記錄的正面研究結果：描述他們成功預測到某些醫學假設在實驗室裡實現。論文的結論是，把這些研究發現應用到現實世界的時候，可能大多會失敗。拜爾實驗室（Bayer Laboratories）最近證實了約安尼迪斯的假設。他們試著自己去實驗醫學期刊中所宣稱的正面研究結果，結果約有三分之二的研究發現他們無法複製。
巨量資料一定會造成進步──最後還是會的。但速度有多快，以及我們會不會同時又退步，就要看我們了。(前言, p.25)
為何未來令我們震驚
生理上來說，我們跟我們的祖先沒有太大的不同。但是某些石器時代的優勢已經變成了資訊時代的劣勢。
人類擁有的自然防衛不多。我們速度沒有那麼快，也沒有那麼強壯。我們沒有爪子或尖牙或是身體的保護層。我們不會吐出毒液。我們沒辦法用偽裝遮掩自己。我們不會飛。但是，我們憑藉著我們的智能活了下來。我們的心智靈活。我們天生就會找出模式，不用太多遲疑就能對機會與威脅做出回應。
「這種找出模式的需求，人類比其他動物需求更高。」湯馬索‧波吉歐（Tomaso Poggio）這樣告訴我，他是麻省理工學院的神經科學家，研究我們的大腦如何處理資訊。「要在艱困的情境中辨認出物體，表示需要歸納。新生兒可以辨認出臉孔的基本形態。這是經由演化才學會的，不是靠個人。」
波吉歐說，問題是，這些演化的本能有時候會在其實沒有模式的時候影響左右我們，讓我們看見模式。「大家一直都會這樣，」波吉歐說，「在隨機的雜訊中找到模式。」
人類的大腦相當卓越；可以儲存大約三TB的資訊。然而據IBM所說，這只是現在全世界每天生產的資訊量的百萬分之一。所以對於我們要選擇記得的資訊，我們必須極為審慎。
艾爾文‧托夫勒（Alvin Toffler）一九七〇年在《未來的衝擊》（Future Shock）一書中寫過，對於他稱之為「資訊超載」（information overload）的結果做了一些預測。他認為，即使這個世界本身越來越多元、越來越複雜，但我們的防禦機制會把這個世界簡化，確認我們的偏見。
我們的生物本能在這個資訊豐富的現代世界不是都調適得很好。除非我們主動努力，去察覺我們引進的偏見，不然額外的資訊給我們的回報可能會很少──或是減少。
印刷術問世後的資訊超載造成了更嚴重的宗派主義。這些不同的宗教觀念現在可以用更多的資訊、更高的可信度、更多的「證據」來證明──對異議則包容更少。同樣的現象今日似乎也在發生。大概在托夫勒寫《未來的衝擊》的同時，政治的黨派偏見在美國開始非常快速的增加，而隨著網際網路的到來，速度還增加得更快。
更多的資訊可以引領我們更接近真理，但黨派偏見的信念可能會顛覆這樣的等式。最近，《自然》期刊上的一篇研究發現，有強烈黨派傾向的人如果對全球暖化了解得越多，彼此間的看法就越難一致。
同時，如果資訊量每天都增加兩百五十萬兆位元組，有用的資訊量卻幾乎沒有真的增加。大多數的資訊都只是雜訊，而雜訊增加得比訊號更快。有太多的假設要驗證，有太多的資料要挖掘──但客觀的事實卻只有相對固定的量。
印刷術改變了我們犯錯的方式。抄寫常見的錯誤變得比較少見。但只要有錯，就會被複製非常多次，就像《邪惡聖經》的狀況那樣。
像全球資訊網這樣的複雜系統就有這樣的性質。這些系統不會像比較簡單的系統一樣常出錯，可是一旦出錯就會錯得離譜。資本主義與網際網路在宣傳資訊方面都效率驚人，卻也都為壞思想創造出散播的機會，跟好思想一樣。壞思想可能會造成不成比例的效果。在金融危機之前這個系統就受到極大的影響，以致於信用評比機構的模型中一個不嚴謹的假設就發揮了極大的作用，拖垮了整個全球金融體系。
管制是解決這些問題的途徑之一。但我很懷疑，管制只會是種藉口，用來避免我們在自己身上找答案。我們必須要停下來承認：我們有預測上的問題。我們都愛預測東西──而我們都不是很擅長。(前言, p.26~28)
預測的解決之道
「如果預測是這本書的中心問題，那麼這也就是解決之道。」
本書將預測視為一種共同的事業，而不是某些特定的專家或從業者所從事的職責。專家預測失準的時候，取笑他們是件有趣的事。然而，我們應該要小心自己的幸災樂禍。說我們的預測不會比專家的預測差，其實只是對我們自己嚴重的明褒暗貶。
在科學中，預測確實扮演了特別重要的角色。有個前提我不斷在暗示，現在我要明講了，可能會讓你們之中的某些人不快：我們永遠都不可能做出完全客觀的預測。預測永遠都會受到我們主觀看法的影響。
但本書顯然在反對「沒有客觀的真理」這種虛無主義的觀點。確切的說，本書是在主張：相信有客觀真理──以及致力追求客觀真理──是要做出更好的預測的首要條件。預測者下一個致力的目標，是要明白自己對客觀真理的認識並不完美。
預測之所以重要，是因為預測連結了主觀與客觀的現實。卡爾‧波普（Karl Popper）是位科學哲學家，就曾認同這個觀點。對波普來說，一個假設，除非可以被證明為偽，不然就是不科學的──也就是說，這個假設要能夠用預測的方法在現實世界裡接受測試。(前言, p.29)
讓我們猶豫的是：我們測試過的一些想法表現得並不好，而我們有很多想法不曾受到、或根本無法測試。在經濟學上，比起主張刺激消費的效果，對失業率的預測比較容易測試。在政治學上，我們用來預測選舉結果的模型可以測試，但是改變政治制度對政策結果會有何影響的理論，可能要花上數十年才能驗證。
我不會像波普那樣，主張這樣的理論就因此而不科學，或是一點價值都沒有。然而，少數我們可以測試的理論結果相當差勁，這種狀況就表示許多我們還沒有測試過的想法也一樣會大錯特錯。我們無疑是活在許多錯覺之中，卻不知不覺。
然而有一條路可以走下去。這不是倚靠著半生不熟的政治觀念所想出的解決之道──尤其因為我把我們的政治體系視為這個問題的很大的一個部分。應該是說，解決之道必須要有態度上的改變。
這樣的態度具體表現在一個叫做貝氏定理（Bayes’s theorem）的東西上，我會在第八章介紹。貝氏定理名義上是個數學公公式。但其實遠不止於此。這個定理意味著我們對我們的觀念──還有如何測試──必須有不一樣的想法。我們必須要更能接受或然率和不確定性。對於我們針對某個問題提出的假設和信念，我們必須更仔細考量。(前言, p.29, 30)
本書的簡短路線圖
本書交織著各種實例，有自然科學、社會科學，還有運動和比賽的例子。本書從較為淺顯的案例出發，在其中預測的成敗比較容易界定，然後本書就進入需要較多策略的其他例子。
第一章到第三章探討的是圍繞著最近金融危機的預測失誤，還有棒球跟政治領域的成功預測──在其中，有些方法已經效果很好，有些則還沒有效。這些應該能讓你去思考預測的難題之下一些最基本的問題。我們如何才能把我們的判斷運用到資料上──又不至於屈服於我們的偏見？市場競爭什麼時候可以讓預測的表現更好──又如何讓預測變得更糟？我們需要用過去的經驗當指引，又明白未來可能有所不同，這兩者之間我們該如何調解？
第四章到第七章著重在動態的系統上：地球大氣的運作狀態，會造成天氣變化；地殼板塊的運動，會引發地震；複雜的人類互動，這是美國經濟運作的主因；還有傳染病的蔓延。這些系統已經由我們一些頂尖科學家在研究了。但是動態系統讓預測變得更困難，而這些領域的預測向來進行得不太好。
第八章到第十章則轉向解決之道──先為你介紹一位運動賭徒，他的貝氏定理運用得比許多經濟學家或科學家還要熟練，接著則探討另外兩種比賽：西洋棋和撲克。由於運動和比賽都遵循清晰的規則，所以可以當成很好的實驗室，來測試我的們預測技巧。這樣可以幫助我們更了解隨機和不確定性，提供一些洞見，讓我們明白該如何將資訊打造成知識。
然而貝氏定理也可以運用到與存在更相關的問題。第十一章到第十三章探討其中三個案例：全球暖化、恐怖主義，還有金融市場的泡沫。這些對預測者和對社會來說都是難題。但如果我們可以勝任這樣的挑戰，我們就可以讓我們的國家、我們的經濟，還有我們的星球更安全一點。
從印刷術的時代至今，世界已經走了很長一段路。資訊不再奇貨可居；我們擁有的資訊多到我們不知道該怎麼處理。但是較為少量的資訊是很有用的。我們選擇性、主觀的去理解，卻很少自我關注，發現這樣做所引起的扭曲。我們以為自己想要資訊，但我們真正想要的是知識。
訊號就是真理。雜訊會使我們分心，遠離真理。這本書談的就是訊號與雜訊。(前言, p.30, 31)
Chapter 1
慘烈的預測失誤
最慘烈的預測失誤通常有許多共通之處。我們注意的訊號，告訴我們的是我們希望這世界變成的樣子，而不是這世界真正的模樣。我們不理會最難估計的風險，就算這些風險會對我們的幸福造成最大威脅也一樣。我們對這世界的評估和假設比我們所了解的還粗略得多。我們痛恨不確定性，就算不確定性正是我們努力想解決的問題終無從簡化的一個部分也一樣。如果我們想要了解金融危機的核心，我們應該從找出最大的預測失誤開始──一個造成所有這些錯誤的預測。(p.35)當你做的預測結果很糟糕時，你可以選擇怎麼解釋。一是怪罪外在環境──我們會說是「運氣差」。有時候這是個合理的選擇，甚至會是正確的。氣象局說情天的機率是百分之九十，卻下雨了，讓你不能出門打高爾夫，你也不能苛責他們。數十年來的歷史資料顯示，氣象局說有十分之一會下雨的時候，長期來看下雨的機率確實只有百分之十。
然而，如果預報員過去沒有預測成功的歷史，而他的錯誤又比較嚴重的話，這種解釋就比較不可信。在這些狀況下，比較可能有問題的是預報員對這世界所建立的模型，而不是這個世界本身有什麼問題。
「沒有人想到事情會發生。」當你無法表述自己是無辜的時候，就宣告你的無知吧。預測失敗的時候，第一句便解的話通常都是這一句。
諾貝爾經濟學獎得主保羅·克魯曼（Paul Krugman）在二〇〇五年八月寫到了美國房市泡沫及其無可避免的結果：「這已經是整個體系的一部份了。」他說：「房市大跌不是黑天鵝。房市大跌是房裡的大象。」（意指明顯擺在眼前，大家卻視而不見的問題。）
在某些方面來說，要是評等機構完全沒注意到房市泡沫，還不會令人那麼困擾。本書會討論到「未知而不自知」的危險，也就是那些根本察覺不到的風險。然而，比這更大的威脅，可能只有那種我們以為自己可以控制，卻控制不了的風險（已知而不自知）。
“The major difference between a thing that might go wrong and a thing that cannot possibly go wrong is that when a thing that cannot possibly go wrong goes wrong it usually turns out to be impossible to get at and repair.”評等機構的問題在於沒辦法或沒興趣去體會風險和不確定性之間的差別。
「可能出錯的事和不可能出錯的事，兩者之間最主要的差別在於，不可能出錯的事一旦出錯，結果常常讓人搞不清狀況，無法修補。」
──道格拉斯·亞當斯（Douglas Adams）《銀河便車指南》（The Hitchhiker's Guide to the Galaxy）
「風險」，是由經濟學家法蘭克·奈特（Frank H. Knight）在一九一二年首度提出，你可以把風險標上價格。例如，除非你的對手抽到中間排湊成順子，不然這一把你會贏；這種狀況發生的機率剛好是十一分之一，這就是風險。長遠來看，只要你的對手在機率不高的情況下孤注一擲，你就可以獲利。
「不確定性」是難以衡量的風險。對於潛藏在其中的魔鬼，你或許會有些模糊的印象，你甚至也許曾極為關切。但是，你不是真的清楚到底有多少魔鬼，沒有什麼方法可以知道。這就是不確定性。風險可以讓自由經濟市場轉動得更快，不確定則使之慢慢停頓。
評等機構化腐朽為神奇的方式，就是粉飾不確定性，使之看起來像是風險。新證券會受到極大量系統不確定性的影響，於是他們就會宣稱他們估量得出這些證券的風險有多高。不只如此，在所有可能的情況中，他們提出的是令人震驚的那種，說這些投資毫無風險。
太多投資人把這些自信的結論當成正確的結論，而太少人為出錯的狀況好備案。
財務槓桿操作泛指運用較少的資金來投資，以獲得高的報酬。你的錢就相當於槓桿的支點，可以提高資金的使用率。外匯保證金、證券與期貨買賣都屬於高財務槓桿的金融商品。一般來說，愈年輕，可承受的風險就愈高，可運用的財務槓桿倍數也愈高。「如果你在市場裡，有人想賣你一些你不懂的東西，」喬治·阿克洛夫（George Akerlof）說：「你就應該認定他們賣給你的東西有問題。」
另一種則指利用借貸資金進行投資，以獲得高於資金成本的報酬率。企業在進行大型投資案的時候，多會利用財務槓桿調度資金。當然，過度的財務槓桿都有潛在的危機。
阿克洛夫為這個主題寫過一篇論文《爛貨市場》（The Market for Lemons），為他贏得一座諾貝爾獎。在論文中，他說明一個市場如果受到資訊不對等的困擾，商品的品質就會下降，而市場就會被邪惡的賣家所佔據，操控那些好騙跟有急需的買家。
不管什麼價格，有判斷力的買家都不會在這樣一個市場交易。這是不確定性壓過風險的例子。
但想像一下，要賣你這東西的陌生人有別人為他擔保。一個看似可靠、值得信賴的人──你的好朋友，你以前跟他做過生意。這就是評等機構所扮演的角色。如果不是他們，這種市場不可能存在。市場指望他們可以幫忙為抵押貸款杞人憂天，但他們卻是無法無天。
美國經濟學家賴瑞·薩默斯（Larry Summers）認為，美國經濟是由一連串的回饋圈組成的。簡單的回饋之一就是供需之間的回饋。想像一下，你經營一個賣檸檬水的攤子。你降低檸檬水的價格，銷售量就會上升；漲價就下降。如果因為外面氣溫三十八度，而你又是這條街上唯一賣檸檬水的攤販，你賺了很多錢，所以對街那個惱人的小子就開了他自己的檸檬水攤子，跟你低價競爭。
供需是「負向回饋」（negative feedback）的一個例子：價格上升，銷售量就下降。雖然名稱是這樣，但付項回饋對市場經濟是好事。
如果相反的狀況成了現實，價格越高就銷售量越高，就是「正向回饋」（positive feedback）。你把檸檬水的價格從新台幣十元漲到二十元，銷售量加倍了（檸檬水當然不太可能會有這種情況發生，但另一種飲品──法國紅酒──就很有可能，因為消費者會把高價視為優秀品質的指標）。然後，你又將價格提高到新台幣一百元，銷量又加倍了。最後，你會將每杯檸檬水提高到二萬二千元，那是現今臺灣大學生的基本月薪，幾乎全臺灣的人民都想買一杯檸檬水來喝。
當然，你很快就會發現，臺灣的每個人都會因為手上這杯檸檬水破產。你本來想用攤子賺來的錢去買電動遊戲，但也不會有人生產遊戲了。
就薩默斯的看法，美國經濟中通常是負向回饋占優勢，作用像是某種溫度調節裝置，以免經濟走入衰退或熱過頭。他認為最重要的回饋之一，是他稱為恐懼與貪婪之間的回饋。有些投資人不太喜歡風險，有些人則很愛，但他們的偏好會互相抵銷：如果一檔股票因為公司的財務狀況惡化而價格下跌，害怕的投資人會把他的股份賣給期待牴觸反彈的貪心投資人。
不動產抵押貸款證券。這類商品可能更難估價。但購買的投資人越多──越多評等機構為之背書──你就越有信心，相信這些證券安全且值得投資。因此你有了正向回饋──有了變成泡沫的可能。
負向回饋最終還是掌控了美國房市：房子現在的價格已經沒有任何美國人買得起了。就這點來說，許多已經買了房子的美國人一開始其實不是真的買得起，他們的房產市值很快就低於貸款餘額了。但大家已經認定有這麼多人購買這些資產，不可能會出錯，結果投資數兆美元，高度槓桿操作之後，不重傷經濟無從解套了。
「我們的貪婪太多，恐懼太少，」薩默斯二〇〇九年告訴我。「而我們現在則是恐懼太多，貪婪太少了。」(p.55, 56)預測失誤有何共通之處
金融危機中出現的預測，至少有四種主要的失誤：
- 房市泡沫可視為一種差勁的預測。屋主和投資人認為價格上漲就表示房屋的價值會持續攀升，事實上歷史顯示這樣反而會讓價值容易下跌。
- 就評等機構還有像雷曼兄弟這樣的銀行而言，他們也沒有了解到不動產抵押貸款證券風險有多高。和他們在國會之前的說法相反，問題不是在於評等機構沒有看見房市泡沫，相反的，對房價可能出現的崩盤，他們的預測模型充滿了有缺陷的假設和錯誤的信心。
- 在預測房價會如何引發全球金融危機方面，有普遍的失誤。結果造成市場上高度的槓桿操作，每個美國人願意在新房子上投資一美元，就有人加碼五十美元。
- 最後，在緊接著金融危機來到的餘波之中，大家都沒有預測到金融危機所造成的經濟問題會有多大。經濟學家和決策者沒有注意到來因哈特（Carmen Reinhart）跟羅格夫（Kenneth Rogoff）的發現：金融危機通常會引發長久而深遠的衰退。
- 屋主對房價的信心來自於美國房價在近期內跌幅向來不大。然而，美國房價從來沒有像在崩盤之前這樣如此全面的上漲過。
- 銀行會相信穆迪公司和標準普爾評等不動產抵押貸款證券的能力，可能是由於評等機構在評等其他類型的金融資產時，表現大致稱職。然而，評等機構之前從未評等過像信用違約選擇權（credit default potion）如此新穎複雜的證券。
- 經濟學家會相信金融體系有能力撐過房市危機，可能是因為房價潑動過去對金融體系一般來說沒有很大的影響。然而，金融體系之前從未如此高度的槓桿操作過，也從未在房市加碼這麼多過。
- 決策者會相信金融危機之後經濟有能力快速復甦，可能是因為最近幾次衰退的經驗，這幾次大多出現了V字形的快速復甦。然而，這幾次衰退並沒有跟金融危機一起出現，而金融危機有所不同。
預測家常常抗拒不去想這些樣本外的問題。我們擴充樣本，把離我們的時空更遙遠的事件納進來的時候，常常就表示我們會碰到一些案例，在其中我們所習慣的一些關係不會像我們習慣的那樣固定不動。這個模型似乎會變得沒那麼強大。我們被迫要承認，我們對這世界的理解沒有像我們原先以為的有那麼深。我們個人與專業的誘因幾乎總是會阻止我們這樣做。(p.62)我們的系統是世界的簡化，我們如果認為我們犯了錯，錯誤也會是在邊緣。
然而在複雜的系統中，錯誤不是用程度來判斷，而是用等比級數來看。標準普爾跟穆迪低估了與抵押債務債券相關的違約風險，差了兩百倍。經濟學家以為像實際發生的這麼嚴重的經濟衰退只有五百分之一的機率。
我們在資訊時代所面對的無所不在的風險之一，就是即使全世界的知識輛正在增加，但我們所知道的事跟我們以為自己知道的事，兩者之間的差距正在拉開。這個症狀通常跟看起來精確卻完全不正確的預測有關。這就像是號稱你槍法神準，子彈總是打在差不多的地方──但卻離靶子遠得很。
金融危機──還有大部分其他預測的失誤──都來自於這樣錯誤的信心。精確的預測偽裝成正確的預測，而我們之中有些人受到了愚弄，加倍投資。正當我們以為自己的判斷中各種的缺失已經被我們克服了，而像美國經濟這般強大的東西卻也會因而戛然停止。(p.63)
Chapter 2
你比電視名嘴還聰明嗎？
從一九八七年起，菲利浦·泰特洛克（Philip E.Tetlock）便開始就各種主題，去收集各種政界和學界所做的各式各樣的預測，從內政、經濟到國際關係（根據其想法，所謂的「專家」是指在特定的領域應該有非凡的專長，而可以賴以維生的人）。
他從人格測驗中抽出了一些問題，來詢問所有的專家。
依照他們對這些問題的反應，泰特洛克得以將他的專家按照頻譜的兩端來分類，他稱之為刺蝟和狐狸。
刺蝟與狐狸的典故來自於以賽亞·柏林（Isaiah Berlin）討論俄國小說家托爾斯泰的文章標題：＜刺蝟與狐狸＞（The Hedgehog and the Fox）。柏林的標題則是從希臘詩人阿爾基羅庫斯（Archilochus）的一段文字借來的：「狐狸知道許多小事，但刺蝟只知道一件大事。」(p.72)基本的概念就是，作家和思想家可以分為兩大類：
- 刺蝟是A型人格的人，相信有「偉大的想法」（Big Ideas）──相信這世上有像物理定律一樣的指導法則，社會上幾乎所有的互動都以之為基礎。想一想馬克斯和階級鬥爭，或是佛洛伊德與淺意識。或是麥爾坎·葛拉威爾（Malcolm Gladwell）與「引爆點」（tipping point）。
- 狐狸是另一個方面，他們是雜亂無章的生物，相信許許多多的小想法，對問題會用各式各樣的手段來處理。他們比較能包容細微差別、不確定性、複雜局面和異議。
有時候，狐狸比較難融入A型文化，例如電視、企業和政治。他們相信有許多問題難以預料──還有我們解釋這些不確定性的時候應該直言不諱──也許會被誤認為缺乏自信。他們多元的方法可能被誤認為缺乏信念；杜魯門總統要求「一隻手的經濟學家」（one-hand economist）而出了名，因為他行政部門裡的狐狸沒辦法給他毫不保留的答案。但是剛好狐狸做的預測好得多。他們比較快看出資料有多少雜訊，比較不會去追逐假訊號。他們比較知道自己不知道什麼。如果你想找個醫生來預測病情的走向，或是找個投資顧問，讓你的退休存款有最大的獲益，那你會想信任狐狸。他們對於自己能做到什麼，說得比較保守──但比較可能真的做到。(p.74, 75)
正因為政治有人性的要素，所以可能特別容易受到差勁的預測影響：一場好的選舉會觸動我們激動的情緒。這樣不代表你非得對政治事件完全不動感情才能做好政治預測。但這確實代表狐狸冷淡的態度自有其好處。(p.78)政治新聞，尤其是真正會影響競選活動的重要新聞，都是以不規則的速度在進行的。但是每天都要生產新聞報導。大部分的報導都是充版用的，用故事的形式來包裝，設計來掩蓋報導的沒有價值（媒體偏見的典型形式就是「為故事加油」（rotting of the story）──希望有更戲劇化的結果出現，或許可以增加報紙的銷售）。政治新聞報導不只常常錯失訊號──還常常強跳雜訊。
五三八預測模型一開始頗為單純──基本上來說，這模型是把民意調查結果平均，但是再依照民意調查過去的準確性加權──然後慢慢變得越來越複雜。但這模型還是遵守三大原則，這三個原則都是像狐狸一樣的。(p.80)原則一：用機率思考
幾乎我發表的所有預測，不管是政治還是其他領域，都是機率性的。(p.81)要看一場選舉非常簡單，只要看哪個候選人在全部或大部分的民調中領先，就可以決定他是不是最有希望獲勝（加上一些例外，這個假設就會是正確的）。比較麻煩的是要瘸定到底他獲勝的機會是多少。我們的大腦生來就會偵測模式，總是在尋找訊號，但其實我們應該去評估資料中有多少雜訊。
泰特洛克的刺蝟在了解這些機率方便特別差勁。你在說某個事件有百分之九十發生機率的時候，這樣有非常明確而客觀的意義。但是我們的大腦會將之轉化成某些比較主觀的東西。心理學家（Daniel Kahneman）與阿摩斯·特沃斯基（Amos Nathan Tversky）的證據顯示，這些主觀估計未必都符合現實。我們很難分辨飛機降落的安全機率是百分之九十九和百分之九九九九九九九之間的差別，就算我們決定該不該訂票的時候這些數字的意義完全不同也一樣。
我們的估計可以藉由練習而進步。讓泰特洛克的刺蝟有所不同的地方，在於他們太過頑固，不願意從錯誤中學習。承認他們的預測中有現實世界的不確定性，就是要求他們承認：他們認為這世界應該如何表現得的理論有不完美之處──這是思想家最不想做的事。
原則二：今天的預測就是你餘生的第一個預測
另一個誤解就是好的預測不應該改變。如果你的預測每天都會失控轉向，這樣會是個糟糕的訊號：要不是模型設計得很差，就是你想預測的現象根本不太能預測。
“When the facts change, I change my mind. What do you do, sir?”
「事實改變的時候，我就改變我的想法。先生，那你會怎麼做呢？」
──約翰·梅納德·凱因斯（John Maynard Keynes）
選舉預測不像物理學或生物學，而是類似像撲克這樣的東西：我們可以觀察對手的行為，得到一些線索，但是我們看不到他的牌。要能充分利用這樣有限的資訊，就必須在得到更新、更好的資訊時，要願意更新自己的預測。不這樣做──不願意冒著丟臉的風險去改變我們的預測──才是顯示了缺乏勇氣。(p.85)原則三：尋求共識
「狐狸常常都努力在腦袋裡做到一整群刺蝟在做的事。」泰特洛克說。他的意思是，狐狸發展出了一種能力，能模擬這種共識的過程。他們不是問一整群專家問題，而是不斷問自己問題。通常這代表他們會將不同類型的資訊整合在一起──就像對這世界有不同想法的一群人自然會做的事──而不是把任何單一的證據視為聖杯。
在這本書中，我很小心地使用客觀和主觀這些慈。客觀這個詞有時候被人當成量化的同義詞，但並非如此。而它的意思是看清我們個人的偏見和成見，看到問題的真相。(p.93)你必須學會如何像狐狸一樣思考，狐狸般的預測者會看清，只要有人的判斷，就有偏見的可能，要更客觀的方法，就是去認清我們的假設在預測中發揮的影響，並質疑自己這些假設。知道這些不足之處可以幫他們做一些正確的預測。
Chapter 3
我在乎的只有輸贏
在二〇〇二年時，麥可·路易士（Michael Lewis）正在寫《魔球》（Moneyball），這本書沒多久後成為全國暢銷書，記載了奧克蘭運動家的興起，還有他們精通統計學的總經理比利·比恩（Billy Beane）的事。其實早在二十五年前，比爾·詹姆斯（Bill James）就曾出版一本名為《比爾·詹姆斯棒球摘要》（The Bill James Baseball Abstract）的書，開啟了棒球紀錄統計分析（Sabermetrics，對棒球的系統化研究，尤其是以統計學）的時代，紅襪隊很快就聘他為顧問。
一個好的棒球預測系統必須達成三個條件：
- 說明球員統計數字的脈絡。
- 分辨球技和運氣。
- 了解球員的表現隨年紀增長會如何演變──老化曲線（aging curve）。
真正的老化曲線雜訊很多──非常多。平均來看，這些曲線會形成看來平順的模式。但就像平均有一·七個孩子的家庭一樣，只是統計的抽象概念。
在頂尖程度打棒球的人一定會有各種不同的生理與心理技巧；肌肉記憶、體力、手眼協調、揮棒速度、球路辨識，還有球隊經歷低潮的時候保持專注的毅力。
統計學家最不利的偏見之一，就是認為如果有什麼東西沒辦法輕鬆量化的話，就不重要。例如，在棒球中，守備一向比打擊或投球更難測量。
如《魔球》中所描述的，比利·比恩就是那種擁有驚人天賦卻沒有展現的人；他是一九八〇年選秀首輪選進的球員，在大聯盟只打了一百四十八場比賽，生涯打擊率二成一九。然而，跟約翰·桑德斯（John Sanders）之類的新人比起，比恩的職業生涯足以進入名人堂。桑德斯是洛杉磯道奇隊的球探。
桑德斯比較不注重生理上的工具，而是比較注重可以使用、可以上場比賽的技巧。這兩者間所能轉換的程度，要靠她說的：球員的心理工具箱。
桑德斯對於球員的心理工具箱應該包含什麼，並沒有明確的定義，但作者在和桑德斯談過之後，找出了五種不同的智能和心理上的能力，桑德斯相信這些有助於預測球員在大聯盟等級是否能成功。
- 準備程度和工作倫理
- 集中與專注
- 雖然此項目跟準備程度有關，但特別牽涉到球員在比賽過程中的行為表現。
- 競爭力與自信
- 壓力管理與謙遜態度
- 適應力與學習力
好的創新者通常想得非常大，而且也想得非常小。在問題最微小的細節裡、別人很少會花功夫去看得地方，常常能找到新的想法。有時候你做最抽象、最哲學性的思考，思考世界為什麼是這樣，主流典範是否有替代之道，這時就會找到新想法。在這兩個空間的中間地帶，我們的人生有百分之九十九在這裡度過，就很少找到新的想法。我們在人生正常的歷程中所做的分類和推測通常足以讓我們應付過去，但是有時資訊可以給我們競爭的優勢，我們卻任其由指縫間溜走。
關鍵在於發展工具和習慣，好讓你會更常到正確的地方去找想法和資訊──一旦找到這些之後，就要磨練這些技巧，用輸贏去掌控它們。(p.132)
Chapter 4
多年來你一直告訴我們雨是綠的
氣象預報是本書中的成功故事之一，是人類聯合機器，通力合作來了解大自然的複雜，有時更要預測。然而，有時我們可以預測大自然的方向，不表示我們就能予以改變。如果沒有人願意聽從，預報也沒有什麼用。卡崔娜的故事，就是人類智慧與人為錯誤的故事。(p.135)電腦運算能力的提升並沒有明顯改善地震或經濟上的預報。但氣象學這個領域則有相當、甚至可觀的進步。
理查·洛夫特博士（Richard Loft）解釋，從歷史的一開始，人就一直在努力預測自己的環境。「你回到查科峽谷（Chaco Canyon）或是英國巨石碑（Stonehenge），大家都知道他們可以預測那年最短的一天和最長的一天。知道月亮是以可預測的方式在移動。但是古人也有些事沒辦法預測。某些動物的襲擊，洪水暴發或是大雷雨。」
你也許不會認為氣象預報是形上學的舉動，但是預測天氣這樣的想法引起了長久以來宿命論與自由意志的爭論。「一切都是註定的，或者是我們造就的？」洛夫特問道。「對人類來說，這一直是個基本的問題，而思路其實有兩種。」
「一種來自聖奧古斯丁（Saint Augustine）和喀爾文教派（Calvinism）。」他說，描述著相信宿命論的那些人。在這種哲學下，人類也許有能力預測他們會遵循的方向。但是他們怎麼做都不能予以改變，一切都依照上帝的計劃實現。「這點跟耶穌會和湯瑪斯·阿奎納（Thomas Aquinas）相反，他們說我們其實有自由意志。這個問題跟這個世界是可預測還是不可預測有關。」
在啟蒙時代和工業革命時期，關於可預測性的辯論開始以不同的說法進行。牛頓的力學似乎意指宇宙有高度的秩序，可以預測，遵守相對單純的物理定律。科學、技術和經濟進步這樣的想法──在這之前的許多個世紀沒有人會視為理所當然──開始出現，連同人類可以學著控制自己的命運這樣的想法。宿命論似乎可以歸入一種新的概念：科學決定論（scientific determinism）的概念。
這種概念有許多形式，但沒有任何一種比法國天文學家兼數學家皮爾－西蒙·拉普拉斯（Pierre-Simon Laplace）更進一步。一八一四年，拉普拉斯做出下列假設，後來人稱「拉普拉斯的魔鬼」（Laplace's Demon）：
“Nous devons donc envisager l'état présent de l'univers, comme l'effet de son état antérieur, et comme la cause de celui qui va suivre. Une intelligence qui pour un instant donné, connaîtrait toutes les forces dont la Nature est animée, et la situation respective des êtres qui la composent, si d'ailleurs elle était assez vaste pour soumettre ces données à l'Analyse, embrasserait dans la même formule, les mouvements des plus grands corps de l'univers et ceux du plus léger atome : rien ne serait incertain pour elle, et l'avenir comme le présent serait présent à ses yeux.”如果完全知道現在的狀況（構成自然所有物體的位置），而且完全知道支配宇宙的法則（所有推動自然的力量），我們就應該能做出完美的預測（未來就如同過去，一如現在）。宇宙中每顆粒子的運動就會像撞球桌上的球一樣可以預測。拉普拉斯承認，人類也許做不到這樣的事。但如果我們夠聰明，我們就能預測氣象和其他所有的事──我們就會發現大自然本身是完美的。
「我們可以把宇宙現在的狀態，視為過去的果與未來的因。智者會知道在某一時刻所有推動自然的力量，還有構成自然所有物體的位置，假若人的智慧能夠對這些資料進行分析，那麼在宇宙裡，從最大的星體到最小的原子，所有的運動都包含在一條單一的公式裡；對於這位智者來說，沒有什麼事物會是無法確定的，而未來就如同過去，在他眼前一如現在。」
──Essai philosophique des probabilités, Laplace
拉普拉斯的惡魔出現兩百年以來一直備受爭議。和決定論者爭論不休的是機率論者，他們相信宇宙的狀況只能在某種程度的不確定性下得知。機率論一開始主要是種知識論（epistemology）的典範：聲稱人類對抗宇宙的能力極其有限。道較為晚近，由於量子力學的發現，科學家和哲學家都在問宇宙本身是不是按機率在運作。如果你夠近看得話，拉普拉斯想要找出的粒子動作開始變得像波浪──似乎不會停在固定的位置。如果你不知道東西一開始在哪，又要怎麼預測它會往哪走呢？你辦不到。這就是理論物理學家維爾納·海森堡（Werner Heisenberg）著名的「測不準原理」（uncertainty principle），測不準原理不應該與觀察者效應（observer effect）搞混，這概念是說，測量某系統的行為（例如用一顆粒子的光線打出雷射光束）必然會干擾系統。這兩個信念本質上並非背道而馳──但測不準原理是比較強而有力的說法，而直覺較難理解。海森堡相信他的原理是相當違反直覺的。但基本的想法是，在一定程度的解析下，就在我們想到我們可以確定粒子到底在哪的時候，粒子的動作就不再像一個點一樣的物質，而是大部相通的東西：某種在移動的波。
物理學家用不同的方式解釋測不準原理，但這條原理認為拉普拉斯的假定不可能是真的。如果宇宙本身是隨機的話，完美的預測是不可能的。
幸運的是，我們要研究氣象用不到量子力學。那如果我們知道地球大氣內每個分子的位置，我們能不能做出完美的氣象預測呢？還是氣象本身也有一定程度的隨機？
對天氣純粹統計的預測長久以來都是做得到的。既然今天下雨，那明天下雨的機率有多少？氣象學家可以查閱資料庫裡過去所有下雨的例子。或者他可以去找長期的平均：三月的時候臺北的降雨機率約百分之四十。
問題是這類的預測不是很有用──不夠精確，沒辦法告訴你到底要不要帶傘，更別說預測颶風的路徑。所以氣象學家向來都是尋求別的東西，他們不用統計模型，而是想要活著、會呼吸的模型來模擬影響氣象的物理過程。
然而，我們運算氣象的能力長久以來都落後於我們對氣象理論的理解。我們知道該解答哪個算式，大概知道正確答案，但我們就是不夠快，算不出這些算式，找不出地球大氣中的每個分子。因此只得做些估計。
混沌理論（Chaos theory）。你也許聽過：在巴西的蝴蝶揮動翅膀可以引發德州的龍捲風。這個說法來自一九七二年麻省理工學院的艾德華·羅倫茲（Edward Lorenz）所提出的一篇論文標題。混沌理論可以運用到有這兩個特性的系統：
- 系統是動態的，這表示系統某個時間點的行為表現會影響其未來的行為表現。
- 系統是非線性的，這表示它們遵守的是等比級數的關係，而非等差的關係。
氣象是典型的動態系統，而影響大氣氣體和流體運動的算式都是非線性的：大多是微分的算式。所以混沌理論絕對可以應用在氣象預報上，讓預報非常容易受到資料錯誤的影響。
有時這些錯誤是人為失誤所造成的。更基礎的問題是，我們只能以一定的精準度觀察我們的周遭。沒有溫度計是完美的，最多算到小數點第三位或第四位，而這樣對於預測會有很深的影響。
任何氣象預報都必須通過兩種基本的檢驗標準，才能證明其品質：
- 預報必須超越氣象學家所說的「持續性」：這是明天（還有後天）的天氣跟今天相同。
- 預報也必須勝過「氣候學」，這是指某個特地的地區、某個特定的日期，氣候條件長期的歷史。
談到商業氣象預報的時候，準確性在統計上的真實狀況未必就是指導的法則，重點比較在於對準確性的觀感，這樣會在消費者的眼中增加價值。(p.160)大部分的商業性的氣象預報都有偏差，而且可能是故意如此。它們尤其會傾向於預報比實際狀況更多的降雨──氣象學家稱之為「濕偏差」（wet bias，指的是預測的降水頻率高於實際的降水頻率。）。你離政府的原始資料越遠、越多消費者面對這些預報，這種偏差就越嚴重。預報是靠著降低準確性來增加「附加價值」的。
預報最重要的檢驗標準之一，稱為校準（calibration）。在所有你說有百分之四十降雨機率的狀況中，有多少次真的下雨嗎？如果長期來說，確實有百分之四十的次數下了雨，這表示你的預報校準的不錯。如果結果只有百分之二十或百分之六十的次數下了雨，那就是沒有校準好。
校準在許多領域都很難達到。必須要用機率來思考，這種事我們大多數的人都不擅長。校準常常會懲罰過度自信──大多數的預報員這個特質都非常明顯──效準也需要許許多多的資料，用來充分評估──預報員已經發布過數百種預測的各種狀況。
卡崔納颶風學到的教訓之一，就是準確性是預報員最好的原則。把政治、個人榮耀或政治利益放在預報的事實之前，是預報的原罪。有時候是因為好意，但這樣總是會讓預報變得更糟，颶風中心盡可能避免讓這些東西危及他們的預報。相對於本書中所有的預報失誤，他們光是在過去的二十五年內，讓預報準確性提升了百分之三百五十，這也許不是巧合。
「預報員的角色就是要盡可能產生出最好的預報。」美國颶風中心主任麥克斯·梅菲爾德（Max Mayfield）說。就這麼簡單──而那麼多領域裡的預測人員通常都還是弄錯了。
Chapter 5
拼命找訊號
地震學家真正感興趣的──蘇珊·哈夫博士（Susan Hough）稱之為地震學的「聖杯」──是時間相隔（time-dependent）的預報，這些預報假設地震的機率不會隨著時間的推移恆常不變。
地震學家就算懷疑有沒有可能做出相關的預報，他們也承認地震在分布上有某些模式。最明顯的就是餘震的出現。大型地震幾乎總會有數十次甚至數千次的餘震隨之而來。這些餘震遵循的模式都多少可以預測，有種依據經驗得到的相對關係，稱為大森法則（Omori's Law），認為餘震的數量與從初次地震來襲開始經過的時間成反比，地震剛發生的時候比幾天後更容易發生餘震，幾天後又比幾週後更容易發生。
地震學家要觀察的資料多得惱人，彷彿就像生存在煉獄中──不完全隨機，也不完全可預測。或許這代表在預測地震上，我們至少可以走到半路，有些進展──就算我們永遠得不到牢不可破的預測也一樣。但是預測地震的努力，在歷史紀錄上幾乎是全面失敗。
地震起因於斷層沿線的壓力累積。壓力會累積到釋放為止，就像噴出沸水的間歇泉，壓力減輕了，整個過程又重新來過，地震也許就按這樣走。
但斷層系統很複雜：像加州這樣的地區跟許多斷層有關，每個斷層都有自己的分枝斷層。地震真的來襲時，或許可減輕某部分的斷層壓力，但也會把壓力轉移給鄰近的斷層，甚至轉到同一個斷層的某個遙遠的部分。此外，對斷層的壓力很難直接觀察──要到地震來襲才能看到。
我們評估預測的方法是否成功的時候，把「事後追溯」（retrodiction）跟預測分開是很重要的；預測過去是種矛盾的說法，顯然不應該算在成功裡。
缺乏理論上的了解，地震學家就得於求助於純粹統計的方法來預測地震。你可以說在你的模型裡創造一個統計變項叫做「壓力」，但既然沒有辦法直接測量壓力，這個變項就只能用過去地震的數學函數來表達。
「資料集的雜訊多得不可思議。」加州州立大學富樂頓分校（Cal State Fullerton）地質科學系的系主任大衛·包曼（David Bowman）說。「在統計上不管達到什麼顯著標準，都不足以驗證假設。」
資訊雜訊太多、理論發展不足的系統──就像地震預測還有部分的經濟學和政治學──會發生的狀況，是種兩個步驟的過程。首先，大家開始把雜訊當成訊號。其次，這個雜訊會用假警報汙染期刊、部落格和新聞報導。漸漸破壞良好的科學，讓我們沒有辦法了解系統真正的運作方式。
在統計學上，把雜訊當成訊號的這個動作叫做過度配適（overfitting）。
假設你是某個罪犯，而我是你的老大。我指定你幫我找出個好方法，打開你平常會看到的那種號碼鎖。我想要的方法要讓我們有很高的機率在任何時間地點都能開鎖。我給你三個鎖做練習──一個黑色的、一個紅色的，和一個藍色的。
實驗了幾天後，你回來告訴我你發現了一個萬無一失的方法。你說，如果鎖是黑色的，那密碼就是二七、一二、三一。如果是紅的，就用二三、一四、一九。如果是藍的，就是一、三、三四。
我會告訴你，你完全失敗了。你清楚地找出怎麼打開這三個特定的鎖。但你沒有讓我們的開鎖理論有任何進展──好讓我們事前不知道密碼的時候可以有點開鎖的希望。我一直很有興趣，想知道例如有沒有哪種迴紋針好開這些鎖，或是有某種機械上的瑕疵可以讓我們利用。或者不管這些，如果有什麼小技巧可以偵測出密碼；或許有某類數字比其他類數字更常用？你給我過於特定的方法來解決普遍性的問題。這就叫做過度配適，它會造成更糟糕的預測。
過度配適這個名稱，來自於統計模型與過去的觀察有多「配適」。配適程度可能不太嚴謹──這叫配適不足（underfitting）──在這種狀況中，你會沒辦法捕捉到那麼多訊號。也或者太過嚴厲──過度配適的模型──這代表你配適的是資料中的雜訊，而不是發現資料潛在的結果。在實務上，後面這種錯誤普遍得多。
幾乎所有現實世界的應用上，我們都必須靠歸納法來工作，從現有的證據來推斷結構。資料受到限制、雜訊很多，你對基本關係的了解又不足的時候，非常有可能會把模型過度配適。
有種常用的檢定，是用來測量我們的模型描述的資料中變異量有多少。根據此檢定，過度配適會得到比適度模型更多的分數，但這些額外的分數，靠的是作弊──配適的是雜訊，而不是訊號。在解釋現實世界上，其實表現得更糟。
明確說來，這些錯誤通常都還是誠實的。借用另一本書的書名，我們本就容易被隨機性愚弄，這些錯誤只是推波助瀾。對我們模型中的這些特質，我們甚至會變得相當依戀。我們可能連自己都不清楚，救回頭努力產出聽起來很有說服力的理論，來合理化這些錯誤，而這些理論常常可以愚弄我們的朋友、同事，還有我們自己。麥可·貝雅克（Michael Babyak）對這問題有許多的著作，他這樣解釋這個兩難：「在科學中，我們尋求的是好奇心與懷疑心的平衡。」這個狀況就是我們的好奇心勝過了我們。(p.199)地震本身或許是種複雜的過程。已故物理學家柏爾·巴克（Per Bak）和其他人所發展出的複雜理論與混沌理論有所不同，雖然兩者常被混為一談。但這理論說的是，非常單純的東西跟別的東西互動的時候，也可能出現怪異而神祕的行為方式。
巴克最喜歡的例子就是海灘上的沙堆。如果你把一粒沙放到沙堆上（還有什麼比一粒沙更單純的？），其實這粒沙會做出三件事的其中之一。依照沙堆的形狀和大小，這粒沙可能多少會停留在掉落的位置上，或是可能從這個小丘上向著沙堆的底部輕輕滑落。或者也可能會做出別的事：如果沙堆太陡了，這粒沙可能會讓整個系統不穩定，引發沙堆崩落。複雜系統似乎都有這個特性，表面上長時間停滯不動，特徵是突然災難性的崩壞。這些過程未必是隨機的，但是完全都是複雜的（一直到最後一粒沙），所以超過一定程度之後就無法預測了。
然而你拉遠來看，從足夠的距離來看複雜的過程時，就會產生出秩序與美。工程師所認識的雜訊有不同的類型──全都是隨機的，但全都遵循不同的潛在機率分配。真正的白雜訊（white noise）是在均勻分布的頻率下隨機出現的聲音，如果你仔細傾聽的話，這個雜訊是嘶嘶作響、有點摩擦的聲音。這類跟複雜系統有關的雜訊稱為布朗雜訊（Brownian noise），比較能令人平靜，聽起來差不多就像湍急的水聲。
而在地球表面之下開闢出斷層線的這種地殼力量，也會塑造壯觀的高山、肥沃的山谷，還有美麗的海岸線。這就表示就算有地震的危險，人們或許始終仍會繼續居住在這些地方。
不管怎麼說，一開始總是會有些失誤的預測。隨著錯誤逐漸為我們淡忘，訊號又會彷彿在地平線上發出閃爍的微光。就算只是海市蜃樓，我們也會渴望著得到預測，努力追尋。(p.207)
Chapter 6
要怎麼淹死在一公尺深的水裡
經濟預測充其量不過是不怎麼樣的工具，很少能提前幾個月就預測到經濟的轉折點。事實上，這些預測常常沒有預測到經濟衰退，即使衰退已經開始了。
預測像美國經濟這麼巨大而複雜的東西是非常有挑戰性的，這些預測實際表現如何，以及大眾對其觀感如何，兩者之間有非常大的差距。
某些經濟預測人員不想讓你知道這點。就像大多數其他領域的預測人員一樣，他們視不確定性為敵人──對他們的聲譽造成威脅的東西。他們不會準確地估計不確定性，還做出假設來降低他們預測模型裡的不確定性，卻不去改善他們在現實世界的預測。這樣常常造成我們在洪流來襲的時候沒有防備。
照高盛公司的亞安·哈齊歐斯（Jan Hatzius）的看法，經濟預測人員面臨三項基本挑戰。首先，單獨從經濟統計數字非常難決定因果關係。其次，經濟不斷在改變，所以對經濟行為的解釋也許在某次景氣循環中適用，卻不是用於未來的循環。而第三，雖然經濟學家的預測一直很糟糕，但是他們用來工作的資料也好不到哪裡去。
或許問題更大的，是經濟預測和政策之間的回饋圈。例如，若預測經濟將進入衰退，政府和聯邦儲備銀行可能就會採取措施來降低風險，或至少降低衝擊。於是部份的問題就在於，像哈齊歐斯這樣的預測人員必須像預測經濟決策一樣，也預測政治決策，而在一個國會支持率只有百分之十的國家，這可會是一大挑戰。
但這議題還可以更深入，諾貝爾經濟學獎得主羅伯特·盧卡斯（Robert Lucas）在一九七六年指出，一個經濟模型所依據的過去資料之所以出現，一部分是因為當時進行中的政策決策。於是，只知道現在的決策者會怎麼做並不足；你也必須知道尼克森時期的財政和貨幣政策是什麼樣子。有一條相關的原則叫做葛哈德法則（Goodhart's law），是依據提出這條法則的倫敦政治經濟學院教授為名，它主張，一旦決策者開始以某個特定的變項做目標，這變項就會開始失去當成經濟指標的價值。例如，政府刻意採取步驟讓房價高漲，昂價就很可能上漲，但再也不是整體經濟健康良好的測量標準了。
邏輯上推到極端，這就有點像是觀察者效應（observer effect，常常被誤認為海森堡的測不準原理）：一旦我們開始測量某個東西，它的行為就會開始改變。大多數統計模型所依據的概念，都認為有自變項和依變項、輸入和輸出，而這些東西彼此之間是可以分隔得很開的（經濟學家在這種狀況用的術語叫外生性（exogeneity））。但談到經濟的時候，這些東西就全部混成火熱的一團了。
氣象學家跟經濟學家都有一些相同的問題，都是處理初始條件不確定的動態系統，那氣象學家有大量的硬科學（大致上，硬科學指自然科學，軟科學則是社會科學，差別在方法論的嚴謹和合理的程度）可以彌補。龍捲風之類的東西，其中物理學跟化學不全然那麼複雜。這不代表龍捲風容易預測，但氣象學家了解是什麼讓龍捲風形成，又是什麼讓它消散。
經濟則是軟得多的科學，那時系統中滿滿都是取決於人類行為的回饋圈。
如果你把經濟看成一連串的變項與等式，沒有基本結構，幾乎就一定會誤把雜訊當成訊號，可能會蒙蔽自己，以為你做了很好的預測，但其實並沒有。
如果你想找經濟預測，最好找平均的或集體的預測，而不是單一經濟學家做的預測。(p.233)
要認清某些人在預測中表現的信心程度不能完全顯示其正確性──相反的，這兩特質之間常常是負相關。我們阻止預測人員完整明確地說明我們周遭世界固有的風險時，危險就會潛藏在經濟和其他地方裡。(p.239)
Chapter 7
模型的角色
外推法（extrapolation）視非常基本的預測方法──通常來說，太過基本了。這方法包含的假設是：目前的趨勢會無限的延續下去，直到未來。有些最知名的預測失誤都是太過隨意應用這個假設所造成的。
幾個跟人口成長相關的預測失誤，外推法也是罪魁禍首。
一九六八年飽受爭議的書《人口炸彈》（The Population Bomb），由史丹佛大學的生物學家保羅·埃希利（Paul R. Ehrlich）和他的妻子合著，他們則犯了相同的錯誤，相當離譜的預測一九七〇年代會有數億人餓死。主要的原因之一，是他們假設一九六〇年代自由戀愛時期破紀錄的生育率會無止盡的持續下去，表示會有越來越多張飢餓的嘴要餵飽。
如果你沒辦法做好的預測又假裝你做得到，常常會造成傷害。我猜想流行病學家，還有醫學界的其他人都了解，因為他們都堅守希波克拉底的誓言（Hippocratic oath）：首先，必須不造成傷害。
討論統計模型的使用與濫用，以及預測應有的角色，大多數深思熟慮的作品都來自於醫療專業的人士。在這個領域裡，愚蠢的模型會要人命。
本書的哲學是預測本身是手段也是目的。例如，預測在檢驗假設上，扮演了非常核心的角色，所以在所有的科學中都一樣重要。即使預測模型只是某種思想的實驗，離產出有用的結果需要很多年，但模型還是可以幫助我們了解問題的範圍。德雷克公式（Drake equation）可以提供一個架構，用來預測銀河中有智能的外星物種的數量，在我們這一生中不太可能產生出非常有用、可以證實的結果。不確定性太大了，太多參數還不知道，可能差了一個等比級數；依照你所插入的值，公式產生的答案會從宇宙中只有我們，到數十億又數十億的外星物種。然而，德雷克公式對天文學家思考生命、宇宙和所有的一切來說，都是非常有用的觀點。
統計學家喬治·博克斯（George E. P. Box）寫道：「所有的模型都是錯的，但某些模型很有用。」他的意思是，所有的模型都是宇宙的簡化，模型就必須是如此。另一位數學家說：「貓最好的模型就是貓。」任何其他的東西都會遺漏一些細節。這個細節可能有多少關聯性，就要看我們想解決的到底是什麼問題，又要求多精確的答案。
我們使用的工具，也不只有統計模型需要我們做出這個宇宙的近似狀況。例如，語言也是種模型，這是種趨近法，我們用來跟彼此溝通。就算這些語言都試著要解釋同一個宇宙，但所有的語言裡都有一些字，在其他語言中找不到完全類似的。科技的分支領域都有自己的專業化語言。對你或我來說，這本書的美版封面是黃色的。但對平面設計師來說，這個顏色是彩通（Pantone）配色系統一〇七號。
一個好的模型就算失誤也會很有用。「想當然爾，不管我們做什麼樣的預測，平均來說都會是錯的。」艾力克斯·奧佐諾夫（Alex Ozonoff）說。「所以重點通常在於了解是怎麼錯的，錯了的時候該做什麼，還有錯了的時候要怎麼把我們的代價減到最低。」
關鍵在於記得，模型試種工具，幫助我們了解宇宙的複雜，但永遠都不能代替宇宙本身。這一點不只在我們做預測的時候很重要。某些神經學家，如麻省理工學院的托馬索·波吉歐（Tomasso Poggio），認為我們大腦處理資訊的整個方式就是透過一連串的趨近法。
所以如果我們想做出更好的預測，更了解我們自己、用什麼方法扭曲和詮釋接收到的訊號，才會那麼重要。本書的前半主要是關於這些近似狀況在哪些部分對我們有所幫助、哪些部份讓我們失望。這本書剩下的部分則是在談怎麼讓這些趨近法做得更好，一次進步一點點。
Chapter 8
錯誤越來、越來越少
“Err and err and err again, but less and less and less.”湯瑪斯·貝耶斯（Thomas Bayes）是位英國牧師，他的作品＜論以機率學說解決問題＞（An Essay toward Solving a Problem in the Doctrine of Chances）在他死後出版，是在一七六三年由他一位朋友理察·普萊斯（Richard Price）讓皇家學會注意到的。文中涉及我們遇到新資料的時候，如何形成對這世界機率性的信念。
──Piet Hein
普萊斯在敘述貝耶斯的文章時，提出一個例子：有個人出現在這世界上（也許是亞當，或許是來自柏拉圖的洞穴），第一次看到日出。一開始，他不知道這狀況是向來如此還是某種詭異的事件。然而，他活著的每一天太陽都再度升起，他就更有信心，知道這是大自然恆常的特點。透過這種純粹統計形式的推論，明天太陽都會再度升起這件事，他認為機率會逐漸接近（雖然永遠不會達到）百分之百。
貝耶斯和普萊斯主張不是說這個世界本質上就是機率性的或不確定的。貝耶斯相信屬神的完美；他也擁護牛頓的作品，牛頓似乎認為大自然遵循規律而可預測的法則。他們的主張應該說是種陳述──我們如何認識宇宙：我們用趨近法認識宇宙，隨著我們收集的證據越來越多，我們越來越接近真理。
貝耶斯在＜神聖的慈愛＞中主張我們不應把自己容易犯錯跟上帝的失敗混為一談。承認我們自己的不完美是走向救贖必要的步驟。
貝耶斯的哲學本質上並沒有任何宗教的成分，有些基督徒認為貝耶斯學派的機率跟他們的世界觀較為符合。在貝氏定理下，如果你認為假設基督教上帝存在的先驗機率（prior probability）是百分之百，那麼不管有多少世俗的證據都沒辦法動搖你這個信念。貝耶斯有可能明白這個性質：在介紹他的論文時，普萊斯提到，他認為貝耶斯的定理有助於證明「神的存在」。
今天公認的貝氏定理最常見的數學表達式是由一個很可能是無神論者的人發展出的：法國數學家兼天文學家皮爾—西蒙·拉普拉斯（Pierre-Simon Laplace）。
拉普拉斯是科學決定論的代言人，他主張我們可以完美預測宇宙，只要我們知道宇宙中每個粒子的位置，而且我們對粒子運動的運算速度要夠快。那為什麼拉普拉斯會去涉及這個以機率論為基礎的理論呢？
原因在於兩者之間的落差：大自然的完美以及我們人類在測量與了解自然時的不完美。當拉普拉斯觀察天文，發現木星與土星的軌道看起來有異常之處──看起來似乎在預測木星會撞上太陽，而土星會漂流道外太空去。這些預測當然錯得離譜，而拉普拉斯一生大部分的時間都致力於發展對這些星球軌道更正確的測量方式。拉普拉斯所改善的部分是靠機率的推論取代精確的測量，因為像望遠鏡那樣的器材在當時還非常粗糙。拉普拉斯認為，機率是無知與知識之間的中途站。對他來說，對機率更透徹的了解對科學的進步來說似乎顯然是必要條件。
如果貝氏定理的哲學基礎豐富得出人意料，那定理的數學則是單純得令人驚艷。定理最基本的形式是一組代數表達式，有三個已知的變項，一個未知的變項。但這單純的公式可以導出非常有預測力的洞見。
貝氏定理與條件機率（conditional probability）有關。也就是說，這個定理會告訴我們如果某些事件發生之後，某個理論或假設為真的機率有多少。
假設你跟一位伴侶同居，你出差回來時，發現衣櫃的抽屜裡有件陌生的內衣。你或許會問：你的伴侶出軌的機率有多少？條件是你發現了內衣；你有興趣評估的假設是你被背叛的機率有多少。
- 首先，你必須以內衣的出現作為假設為真──也就是說，你被背叛了──的條件，評估這樣的機率是多少。為了處理這個問題，先假設你是女性，而你的伴侶是男性，我們討論中的內衣是一件內褲。如果他背叛了你，當然很容易想像內褲是怎麼來的。反之，就算（而且或許尤其是）他真的背叛了你，你或許也會希望他更小心一點。我們假設以他背叛你為條件，內褲出現的機率是百分之五十。
- 第二，你必須以內衣出現的假設為偽的條件。如果他沒有不忠，那內褲的出現有沒有什麼合理的解釋？當然，不是所有的解釋都能讓人滿意（那可能是他的內褲）。可能他的行李被搞亂了。可能是他一位純友誼的女性朋友，是你也信任的人，來過了夜。內褲可能是要給你的禮物，但他忘了包起來。這些理論有沒有一個是完全站不住腳的，不過有些跟「狗把我的作業吃掉了」的藉口差不多。整體來說，你給這些理論的機率放在百分之五。
- 第三，也是最重要的。你需要貝氏定理所說的「先驗機率」。你在找到內衣之前，你認為他背叛你的機率有多高？當然，既然內褲已經出現了，對這點你就很難完全客觀了。（理想來說，你在開始檢驗證據之前就要建立你的先驗機率了。）但有時候是有可能從經驗上來評估這樣的數字。例如，研究發現在特定的任何一年，大約有百分之四已婚的伴侶會對配偶不忠，所以我們就以這個為我們的先驗機率。
如果我們估計過這些數值，就可運用貝氏定理來建立後驗機率（posterior probability）。這就是我們有興趣的數字：根據我們找到的內衣，被背叛的機率有多高？計算結果（以及產生結果的單純代數表達式）。
結果發現這個機率是百分之二十九。
然而，貝氏定理背後的概念不是要我們只要更新一次的機率的估計就好。而是說，隨著我們看到新的證據出現，就應該不斷地這樣做。
貝氏定理確實要求我們用機率看待這個世界，就算是談到我們不願意認為是機率問題的事情也一樣。這定理沒有要求我們採取立場，去認為這世界本質上、形而上是不確定的──拉普拉斯認為從星球的軌道道最小分子的行為，一切都是受一絲不苟的牛頓定理所支配，然而他在貝氏定理的發展上大有助益。說得更確切，貝氏定理處理的是認識論上（epistemological）的不確定性──我們知識的限制。
在巨量資料的時代，我們的預測可能會更容易失誤。資料中有意義的關係數量──表現因果而非相關、可以證明世界真正運作方式的那些關係──卻是成等比級數的少。增加的速度也遠不如資訊本身那麼快；世界上的真理沒有比網際網路或印刷術出現之前更多。大多數的資訊都只是雜訊，就如宇宙的大部分都是空蕩蕩的空間一樣。
或許貝耶斯在智性上的主要對手──雖然他是在一八九〇年出生，幾乎是在貝耶斯死後一百二十年──是英國統計學家兼生物學家，羅納德·艾爾默·費雪（Ronald Aylmer Fisher）。
今天還廣泛使用的統計方法，或許費雪比其他任何一人的貢獻都還大。他發展了「統計顯著性檢定」這個術語，以及背後大部分的方法論。
費雪和他同時代的人對於叫做貝氏定理的公式本身並沒任何問題，這只是個單純的數學等式。他們擔心的是大家會如何應用這個定理。他們尤其對貝氏學派的先驗機率持反對意見。看起來太主觀了：我們連著手實驗都沒有，就必須事先講明我們覺得某件事有多可能發生？這樣不是違反科學客觀的概念嗎？
所以費雪和他同時代的人轉而努力發展一套統計方法，他們希望這樣可以讓我們不受任何可能的偏差影響。這一類的統計今天通常稱為「頻率論」（frequentism），不過有時候也有人說是「費氏學派」（Fisherian，以相對於貝氏學派）。
頻率論背後的概念在，統計問題中的不確定性來自於收集資料的時候單只從母群體的一部份收集，而非整個母群體。
基本上，頻率論的統計方法是不去過問預測最常出錯的原因：人為誤差。這方法將不確定性視為實驗中固有的某部分，而不是我們了解現實世界的這種能力中固有的部分。頻率論的方法也意指隨著你蒐集的資料越多，你的誤差最後終將趨近於零：對於解決任何問題來說，這樣不但充分，而且必要。本書中許多預測比較有問題的領域都來自於可用資料稀少的領域，如果能收集到更多的資料，通常確實會很有價值。然而，如果你用明智的方式來使用這樣的方法，也很難讓你順利走向統計上的完美。
不管在理論上或實務上，頻率論的方法也不是特別客觀。這方法要仰賴一大堆的假設，通常認為測量中潛在的不確定性遵循的是鐘形曲線或常態分配。這通常是不錯的假設，但在股票市場變化之類的案例中就不是如此了。頻率論的方法必須定義抽樣的母群體，這方法在民意調查中很容易，但在許多其他食物上的應用卻大多是主觀決定的。
更大的問題在於，頻率論的方法──力求統計程序毫無瑕疵，不能受研究者的偏見影響──卻讓研究者跟現實世界完全隔離。這些方法阻礙研究者去考量他假設的基礎脈絡或可信程度，這是貝氏學派的方法在先驗機率的形式中所要求的。於是你就會看到表面上很嚴肅的論文發表，討論蟾蜍如何能預測地震，或是塔吉特（Target）之類的大型量販店會產生種族仇恨團體，都是應用頻率論的檢定方式產生出「達統計顯著意義」（但明顯是荒謬的）發現。
確認相關不一定都代表有因果關係，是要歸功於費雪。然而，費氏學派的統計方法並不鼓勵我們思考哪些相關代表有因果關係，哪些則沒有。
而在貝氏學派的世界觀裡，預測是我們衡量進步的標竿。我們或許永遠沒有辦法百分之百確定知道真理，但是做正確預測，就是確定我們有沒有更接近的方法。
我們的信念永遠得不到完美的客觀、理性或準確。但我們可以努力不要那麼主觀、不要那麼理性、不要那麼錯。依據我們的信念做出預測試檢驗我們自己最好（甚至唯一）的方式。如果客觀這件事攸關我們超越個人環境、追求更偉大的真理的話，那麼檢驗我們個人的觀感有沒有跟更偉大的真理一致，預測就是最好的方法，我們之中最客觀的人就是做出最準確預測的人。費雪的統計方法認為客觀只存在於實驗室實驗局限之內，就不像貝氏學派的推理那麼適合這項任務。
事實上，貝氏定理的特性之一，就是隨著時間的推移，我們看到更多的證據，那我們的信念彼此間──還有跟真理間──應該要達成一致。
貝氏定理認為我們都會趨向一致，走向更好的方法。貝氏定理預測，貝氏學派終將獲勝。
Chapter 11
要是你贏不了他們
效率市場假說（efficient-market hypothesis）主張，在某些狀況下，要超越市場的預測是不可能的。在經濟系統幾十年來這假說都是正統，然而市場最近的泡沫和破產讓這說法變得不受歡迎，因為這些狀況有些事後看來其實是可以預測的。但這理論比你以為的還要堅定。
有強力的實徵和理論證據顯示，歸結不同的預測是有好處的。有一些學科，從宏觀經濟預測到民意調查，都發現採用所有人預測的平均值，而不只靠一種預測，這樣可以減少預測者的錯誤，通常減少約百分之十五到二十。
但在你開始把所有的東西放在一起平均之前，你應該了解三件事。第一，雖然歸結後的預測基本上都會比一般的個人預測好，但這不見得代表這個預測一定是好的。例如，歸結後的宏觀經濟預測太過粗糙，只能提前幾個月預測經濟衰退。然而，這些多少是賭徒的預測，並非經濟學家的預測。
其次，最有力的證據顯示，大家要先獨立進行預測，然後才把所有預測放在一起平均，這樣這種群眾智慧的原則才適用。在真實的下注市場，大家可以、也確實會對別人的行為有反應。這些狀況下，群眾行為動態變化更大，團體行為就更複雜了。
第三，雖然歸結的預測比一般的個人預測好，但比起最好的個人預測，就不一定了。
效率市場假說的三種形式
尤金·法瑪（Eugene Fama）改良了他的假設，以涵蓋三種不同的狀況，對於市場的可預測性提出更大膽的主張。
第一種，是效率市場假說的弱式效率（weak form）。這個主張是說，股市的價格無法只靠分析過去的統計模式來預測。換句話說，圖表分析家的技術注定是要失敗的。
效率市場假說的半強式效率（semistrong form）則更進一步。這個主張認為基本面分析──意即實際去看公司財務報表、商業模式、宏觀經濟條件等等可以公開取得的資訊──也注定會失敗，而且也不會產出可以穩定擊敗市場的收益。
最後則是效率市場假說的強式效率（strong form），這點主張就算是私有的資訊──內幕的秘密──也會很快就融入市場價格之中，不會產生高於平均的收益。這版本的效率市場假說比較是把這理論推到邏輯上的極致，大多數效率市場的擁護者（包括法瑪本人）並沒有真的相信這點。
但這假說的弱式和強式效率之間的爭辯，或許一直是所有社會科學中最熱門的主題。每年都有將近九百篇討論效率市場假說的學術論文出版。
效率市場假說有時候被人誤以為是華爾街股票過剩的藉口；這個假說似乎主張，不管那些傢伙做了什麼，至少他們的行為是理性的。但這個理論一開始擬定的時候，其實主張的是剛好相反的狀況：股市基本上極度不可預測。
理論上來說，股票的價值就是對公司未來收入與股利的預測。雖然收入很難預測，但是你可以看看這家公司最近之前賺得如何，拿來跟股票的價值做比較。這樣的計算結果──成為股價本益比（P/E, price-to-earnings ratio）──長期來看已經跌到十五左右，就代表每股的市場價格通常已經比公司的年營收大了十五倍。
有這麼廣泛的企業來平均，那新興企業公司偏高的本益比應該會被衰退的公私抵銷，市場的本益比應該隨時間的不同而相當穩定。
效率市場假說的理論訴求在於股價的錯誤（跟貝氏學派的信念一樣）會自我修正。假設你觀察米高梅國際酒店集團（MGM Resorts International）這家大型博弈公司的股價，每星期五就上漲到百分之十，或許是因為交易人潛意識裡期望週末的時候到大西洋城把他們的獲利都花掉。某特定的週五，米高梅股價一開始是一百美元，所以到下個交易日結束你就會期待它上漲到一百一十美元。你該怎麼做？你當然應該買這檔股票，希望能快速獲利。但你買股票的時候，價格就上升了。交易量夠大的話，可能會讓價格從一百美元上漲到一〇二美元。這樣還是會有些立路，所以你可以再買這檔股票，價格就上升到一〇四美元。你一直這樣做，一直到股票漲到一百一十美元這合理價格。這樣就沒有剩下什麼利潤了。但是看看：在查明這種價格異常的過程中，你已經設法把異常排除了。
在現實世界，這些模式完全不會這麼明顯。交易人有幾百萬，包括數百位只專注於薄易產業的分析師。只有你注意到這檔股票在星期五會上漲百分之十，這種機會有多大？你通常只能輪到去搶些零頭：這個統計模式有沒有可能有意義、未來是否會延續、有沒有可能賺到足夠的利潤讓你支付交易成本──而且其他投資人也在跟你搶著要利用這些。然而，有些競爭就表示市場應該會快速調整大型的價格錯誤，而小型的錯誤就不值得擔心了，至少理論是這樣的。
但大多數的交易人，尤其是最活躍的那些交易人，都非常注重短期。他們只要有賺錢的機會就會套利，可能想的是提早一天、一個月或一年的事，但比這更長遠的他們就不怎麼在乎了。可預測性可能還是有一些；只是他們的工作範圍不包括利用那些東西。
交易人必須做判斷──要買還是要賣。還有市場是會崩盤還是不會。所以有四種基本的預設情況要考量。
- 交易人買進，而市場上漲。這種狀況就是平常的生意。
- 交易人賣出，而市場崩盤。如果交易人預期到崩盤，而崩盤也發生了，因為他下這樣的注，其他人很少有人這樣，他看起來就會像個天才。
你會好這些結果的哪一種，主要看你的性格。對於喜歡華爾街生活、喜歡融入群眾的人來說，第一種很棒；第二種則適合喜歡離經叛道的人。
但現在想想如果投資人押錯了注會發生什麼事。這個選擇就清楚多了。
- 交易人買進，但市場崩盤。這會讓公司虧很多錢，就不會有大筆獎金。但因為他跟群眾在一起，所以大多數的同事也都會犯一樣的錯誤。
- 交易人賣出，但市場上漲。這種狀況就是災難了。交易人不止表現比同儕差很多，他甚至在這樣做之前，高呼著別人都是笨蛋。他非常有可能被開除，且不會有什麼人喜歡他，未來的就業前景也就很黯淡了。
如果我是交易人，那百分之二十的崩盤機會根本不夠讓我賭上這一把，去賣掉股票。百分之五時的機會也不行。我要差不多確定會崩盤，才會去冒險嘗試。
有證據顯示從眾這種狀況在市場中越來越普遍。在不同股票及不同種類的資產之間的價格變動得越來越劇烈，顯示出大家什麼東西都投資一點，努力充分利用許多的策略。這是一種資訊時代的風險之一：我們共享那麼多的資續，以至於我們的獨立自主大打折扣。我們反而去找出跟我們想法一樣的其他人，然後誇耀著我們有多少的「朋友」和「追隨者」。
在市場裡，價格偶爾可能會跟著最糟糕的投資人走。交易做最多的就是他們。
我們有理由懷疑，投資人遭受的各種認知偏差中，最糟糕的莫過於過度自信。或許行為經濟學真正首要的發現就是我們在做預測的時候，大多數的人都太過自信了。股市也不例外；你可能認為企業的財務長是相當老練的偷資人，然而有份杜克大學（Duke University）對企業財務長的研究發現，他們過度高估了自己預測標準普爾五百指數價格的能力。雖然股市短期表現捉摸不定已經有長遠的歷史了，但他們總還是訝異於股價的大幅度變動。
加州大學柏克萊分校的經濟學家泰倫斯·歐迪恩（Terrance Odean）建構了一個模型，其中交易人就有這個缺點，而且只有這個：他們在估計他們資訊的價值時太過自信。除此之外，他們非常理性。歐迪恩發現的是，光是過度自信就足以打亂一個除此之外都很理性的市場。市場裡的交易人過度自信，就會產生極高的交易量、波動增加、每天股價的怪異相關，還有活躍的交易人低於平均的收益──都是我們在現實世界裡會觀察到的東西。
「市場不理性的時間，會比你有償還能力的時間更長。」凱恩斯說。
行為經濟學指出，交易人在現實世界的樣子，不會像在模型裡那樣行為良好。
「效率市場假說有兩個部分。」理察·賽勒（Richard Thaler）說。「一個部分我稱為『天下沒有白吃的午餐』，也就是你沒有辦法打敗市場。尤金·法瑪對這個部分大致同意。他不喜歡談到的，是『價格是對的』這個部分。」
對任何投資人而言，長期來說要打敗市場非常困難。理論上很吸引人的機會，在實際上可能很不容易被把握，因為有交易成本、風險和其他交易限制。過去證明可靠的統計模式被投資人發現之後，結果證明只是曇花一現。
效率市場假說的第二個主張，賽勒稱為「價格是對的」這部分，就更有問題了。
市場中有不對稱的狀況：察覺泡沫比泡沫破滅更容易。這代表的是──如果你真的覺得市場就要崩盤，那你為什麼不肯下注賭這件事呢？──在現實世界不一定適用，這裡的交易和資金是有約束的。
「投資人的面對或逃避的機制告訴他們要怎麼做，他們卻必須學會做出完全相反的事。」亨利·布洛克特說。「市場崩盤的時候，那就是該興奮起來，把你的錢放進去的時候。那時不是該害怕、把錢抽出來的時候。然而你看到的是市場跌得越多，出來的錢也就越多。正常的偷資人都被毀滅了，因為他們一直在做完全錯誤的事。」
在泡沫的時候不要買，或者大家恐慌的時候不要賣，需要深思熟慮而有自覺的努力。你得鎮定自如才能視若無睹。不會你就會跟大家一樣，犯同樣的錯。
丹尼爾·卡內曼把這個問題比擬為謬勒—萊伊爾錯視（Muller-Lyer illusion），這是種知名的視覺錯覺，包含了兩組箭頭線段。
其中一組線段末端的箭頭向外，似乎表示著擴張，還有無限可能。另外一組箭頭則是向內指，讓線段看起來自制而有限。第一個狀況就類似投資人在收益增加的時候怎麼看股市；第二個則是在崩盤之後他們怎麼看。
有些理論家提過，我們應把股市看成兩種過程合而為一。一軌是訊號，是教科書裡讀到的一九五〇年代的股市。這是長期而言會佔多數的市場，投資人的交易相對較少，股價跟基本面緊密相關。
另一軌是捷徑，是雜訊，充滿了動量交易（momentum trading）、正向回饋、偏差的誘因和從眾行為。通常這只是剪刀石頭布的遊戲，對於更廣大的經濟沒有實際效應──但或許也不會有什麼實質的傷害。只是一群滿頭大汗的交易人在把錢移來移去而已。
然而這些軌道剛好沿著同一條道路前進，就好像某些城市決定要舉辦一級方程式賽車，但是因為某些行政疏失，忘了關閉一條車道以疏散車流。有時候，就像在金融危機的其間那樣，出了大車禍，而平常的投資人就讓人給輾過去了。
這種二元的特性，物理學家迪帝爾·索爾內特（Didier Sornette）稱之為「秩序與無秩序之間的戰鬥」，在複雜系統中很普片，這種系統是由許多個別的獨立部分之間的互動所控制的。像這樣的複雜系統可能同時看起來很好預測又非常難以預料。
如果我們認定市場不可能犯錯、價格永遠都是對的。如果我們從這個推測出發，那很明顯的，我們永遠都沒辦法查覺到有泡沫出現。市場會掩蓋我們某些瑕疵，平衡掉我們某些缺陷。要勝過市場的預測沒這麼簡單，但有時候價格還是會錯。
Chapter 13
你不知道的東西可能會傷害你
在事情過後再去從不相關的訊號中整理出相關訊號，就簡單得多了。事情過後，訊號當然總是極其清晰。但是在事情之前，訊號卻很模糊、充滿各種相互衝突的意義。接受訊號的觀察者身處「雜訊」的環境中，也就是說，伴隨著各種對預測特定災難來說無用且無關的資訊。(p.474, 475)這樣的狀況下，重要的不是我們偵測訊號的能力：只要我們有達到某些能力的基本門檻，在像珍珠港或九一一這種規模的事件之前，我們就能注意到許多訊號。相關的訊號會在檔案櫃或電腦資料庫之類的地方。但是整群的無關訊號也都會在。我們需要訊號分析能力，才能夠把有關係的訊息，從回聲室裡獨立出來。
通常我們會有些看法，認為那些訊號比較重要，需要我們關注。有這些看法很好也很重要，但要到某個程度為止。我們不看脈絡就評斷資料的話，接下來會發生的問題已經詳述過了。我們不會做出成功的預測，而是會弄錯模式，很快就弄不出結果了。
然而，我們所提供的脈絡可能會有誤差、可能只顧私利。就如西賽羅警告莎士比亞筆下的凱薩：「人總是照自己的意思解釋事情／完全錯失了這些事情本身真正的意義。」解釋這個世界的各種理論中我們偏好的那種，只要哪種訊號對這理論有所幫助我們就會比較注重，也或者我們會著重顯示的結果比較樂觀的訊號。或者我們只著重符合官僚體制規定的那些訊號，就像那種教條式的反應，認定對珍珠港比較可能出現的威脅是暗中破壞，而不是空襲。
我們的規畫能力中有種傾向，會混淆不熟悉的東西跟不可能的東西。我們沒有認真考量過的意外事件看起來很奇怪；看起來很奇怪的東西被認為是不可能；不可能的東西就不需要認真考量。(p.476)
某種可能性對我們來說不熟悉的時候，我們甚至連思考都不會。(p.477, 478)
「有自知己知；有些事情我們知道自己知道。我們也知道有自知未知；也就是說，我們知道有些事情自己不知道。但還有未知而不自知──有些事情我們不知道自己不知道。」你有能力列舉危險或不可預測的要素時，你就是在表達自知未知。明確說出你不知道的東西，就是進步的象徵。
──美國前國防部長唐納德·倫斯斐（Donald Henry Rumsfeld）
如我們所發現，很少有東西可以直接用可預測和不可預測的二分法來分類。就算你不知道怎麼百分之百確定可以預測某個東西，你也可以對這個威脅提出一個估計值或預測。這個估計值可能很敏稅也可能很拙劣，可能很正確也可能不正確，可能很聰明也可能很笨（你甚至可以認定最好的估計就是基本上就是隨機：你很確定你不確定！）。但至少你有警覺到這個問題，而且通常你可以有所進展。
如果我們因為對這世界的知識並不完美而感到挫折，完全沒有辦法做出預測，問題就來了。未知而不自知是我們連想都沒有想過的意外狀況。我們對這狀況有某種心理障礙，或者我們的經驗不適合想像這個狀況；就彷彿這個狀況甚至不存在一樣。
九一一比較不是我們評估過、認為不可能發生而拒絕的假設──而比較是我們一開始就沒有真的好好想過的。這個狀況我們不熟悉。倫斯斐主張，九一一是未知而不自知。
九一一事件並不是異常值。雖然我們沒有在事前就看出當天事件的細節──而雖然這些事件可能非常難以預測──但我們有些理由認為，像九一一事件規模這麼大的攻擊是有可能發生的。
用抽象而數學化的方式來思考恐怖主義，似乎令人不安。這不是要代替情報界進行的那種訊號分析。但這類思考有助於拼湊出我們的一些盲點，讓我們更能清楚估計恐怖主義造成的傷害。如果我們分析了現有的資料，就更能評估未來的風險。
像是珍珠港事件即將發生之前的狀況那樣，在恐怖主義的領域裡，沒有訊號有時比有訊號還要令人擔心。
在微觀的層次──在個別恐怖分子的層次，或是個別恐怖計畫的層次──不可能有什麼萬靈丹式的解決之道來預測攻擊。然而情報需要整理過我前面所說千絲萬縷的訊號。
有些問題依個案基礎來看的時候非常無法預測，但如果拉遠距離，用宏觀的角度來看，可能就會比較有條理。旁觀者清的洞見看見了恐怖主義的數學特性，已經證明更為實用了。
「恐怖主義的目的就是令人恐懼。」恐怖分子不單只是努力想盡量擴大死傷人數；他們還想讓他們對人民造成的恐懼達到最大，試圖改變人民的行為。死亡和毀滅不過是達成目的的手段。「你得殺人才辦得到。」倫斯斐說。「但那不是目的。」
──列寧（Vladimir Lenin）
有個收集恐怖事件常用的資料庫，他們用的一個定義是恐怖行為必須是國際性的，必須有實際或是威脅的暴力行為，而且必須由「次國家行為者」（subnational actors，意為不是由主權國家的政府本身直接進行）執行。此外，這些事件必須意圖達成某些政治、經濟、社會或宗教目標。這些事件必須包含恐嚇或強制的部分──意圖是在直接受害的人之外，更對群眾造成恐懼。
談到預測未來風險的規模時，冪次律有些重要的性質。特別是冪次律指出，比社會最近經歷過的事件還要糟糕得多的災難，就算很罕見，也是完全有可能的。
對亞倫·克勞塞特（Aaron Clauset）冪次律假說明顯的批評之一，就是恐怖主義不像地震之類的狀況，是可以藉由人為干預來阻止的。
克勞塞特的研究認為，冪次律分布的存在或許正是因為恐怖分子跟反恐武力之間的對抗，而不是說都有這樣的對抗了還存在。在恐怖分子和社會間可能有某種均衡存在，一種在自由與安全間不斷衝撞的平衡，不過可能會因時因地而有所不同。我們如果想要生活在自由社會的話，那不管我們想不想承認，我們都永遠必須接受恐怖主義某種程度的分險。
就像九一一委員會所推論的，攻擊前最重大的失誤來源就是我們缺乏想像力。我們在做預測的時候，在好奇心和懷疑態度之間必須求平衡。兩者必須相容。我們越是熱切地想詳細檢查和檢驗我們的理論，就越容易接受我們對這世界的了解並不確定；我們月願意承認完美的預測並不可能，就越不會活在失誤的恐懼中，就有更多的自由能讓我們的心臟自由流動。月是知道我們不知道什麼，就越能多做出一些正確的預測。
結論
歷史上最令人印象深刻的正確預測，是英國天文學家愛德蒙·哈雷（Edmund Halley）的預測，他在一七〇五年預測有顆巨大的彗星會在一七五八年經過地球。有很多人懷疑哈雷，但是彗星回來得正是時候。古代認為彗星是眾神無可預測的預兆，現在則被視為異常規律而可預測的。
天文學家預測哈雷彗星下次最接近地球的時候會是二〇六一年七月二十八日。到那時候，許多自然世界中現在困擾我們預測能力的問題就會盡如我們的知識範疇之中。
我們沒有理由推斷人的事務越來越可預測。相反的狀況才是對的。揭開自然法則的科學正讓社會組織更加複雜。技術完全改變了我們彼此往來的方式。由於網際網路，「整個脈絡、所有的等式、所有資訊傳播的動力都改變了。」提姆·柏納—李（Time Berners-Lee）這樣說，他是一九九〇年全球資訊網的發明人。
資訊的總量正成倍數增加。但這些資訊中很少是有用的。訊號與雜訊的比率會令人擔心。我們需要更好的方法來分辨兩者。
本書談的不是我們知道什麼，而是我們所知道的和我們以為自己知道的，這兩者間的差別。本書推薦了一個策略，好讓我們拉進這兩者間的距離。這個策略需要躍進一大步，再往前走幾小步。這一大步就是貝氏學派思考預測和機率的方式。(p.507, 508)
貝氏定理的開始和結束，都是用機率的表達式表達現實世界事件的可能性。它不會要求你相信這世界本質是不確定的。定理發明的時代，是牛頓定理的規律形成科學主流典範的時候。然而這個定理卻要你接受，你對這個世界的主觀感知就是在趨近真理。(p.508)
我們的大腦處理資訊是用趨近法的方式。這比較不是種經驗上的事實，而是種生物上的必然：我們感知道的輸入資訊，比我們能用意識考量的多得太多，我們就將資訊分解成規律和模式，來處理這個問題。
我們的大腦在日常生活中做的簡化和趨近也差不多。這些簡化和趨近藉著經驗會變成有用的指引，構成我們的應用知識。但這些東西並不完美，我們也常常不清楚這些東西有多粗糙。
貝氏定理要我們在衡量證據之前，就先陳述──明確說出──我們相信一件事有多可能發生。這種估計就叫做先驗信念。
先驗信念應該從何來？理想來說，我們會想用自己過去的精研為基礎，如果是社會的集體經驗更好。這是市場所能扮演得很有用的角色。市場當然不完美，但是絕大多數的時候，集體的判斷會比我們個別的判斷好。市場可以當成衡量證據的好起點，尤其如果你還沒投入太多時間研究某個問題的話。
貝氏定理下，不能接受的是你假裝你沒有任何的先驗信念。你應該努力減少你的偏差，但要說你完全沒有偏差，正代表你有許多偏差。直接陳述你的信念──說出「我就是從這裡來的」──就是用誠意來操作，明白你是透過主觀的過濾來感知現實。(p.511)只要有新資訊出現，我們就應該更新我們的預測。這種概念比較沒那麼死板的版本，就是單純的嘗試錯誤法。
要是我們的想法值得，就應該願意建立可以證偽的假設，用這些想法來提出預測，檢驗它們。大多數的時候，我們不會去意識到資料中有多少雜訊，所以我們的偏差是會去太過著重最新的資料點。
但如果在個人層面或專業層面上投注太多心力的話，也會有相反的偏差，在事實向我們提出挑戰的時候，沒去挑戰自己的想法。
你越是經常願意去檢驗你的想法，你就越快會開始去避開這些問題，從你的錯誤中學習。
客觀與主觀現實交會之處
從雜訊中分辨出訊號需要科學知識，也需要自知：平靜接受我們不能預測的事，勇敢預測我們能預測的事，睿智看出差異何在。
這個世界有多少可預測，我們的看法多年來起起伏伏。一個簡單的方法就是「可預測」和「不可預測」這些字在學術期刊中使用的次數。
二十世紀初，這兩個字使用的次數幾乎完全一樣。經濟大蕭條和第二次世界大戰讓「不可預測」一躍而居主宰地位。隨著這個世界從這些危機中復原，「可預測」又重新流行，一九七〇年代時使用達到巔峰。近年來「不可預測」又重新上揚。
我們的偏差在於，我們以為自己擅長預測，其實並沒有那麼好。新千禧年的前十二年相當艱苦，不可預測的大災難一個接著一個。在這些被擊倒卻未屈服的人留下的遺跡上，願我們奮起，對我們的預測能力更為謙遜，更不會去重蹈覆轍。