2017年《經濟學人》宣布，數據(而非石油)已經成為世界上最有價值的資源，后來這個觀點被廣為流傳。如今，各行各業的企業組織已經在、還將繼續數據和分析方面投入大量資金。但是和石油一樣，數據和分析也有它陰暗的一面。

根據2022年CIO狀況調查報告，有35%的受訪IT領導者提到，數據和業務分析將是今年推動他們組織最大的一項IT投資，有20%的受訪IT領導者則提及了機器學習/人工智能。從機器學習算法驅動的分析和行動中獲得的洞察力可以為企業組織帶來競爭優勢，但在聲譽、收入甚至生命方面如果發生錯誤的話，可能要付出高昂的代價。

理解你的數據以及數據給你傳遞了什么信息，這一點很重要，但了解你的工具、了解你的數據、牢記企業組織的價格也同樣重要。

下面是過去十年發生的一些備受關注的數據分析和人工智能災難事件，可以說明在采用這些技術時可能遇到的問題。

1.AI算法發現了一切，卻沒能預測COVID-19

自COVID-19新冠疫情大爆發以來，很多企業組織都在尋求通過使用機器學習算法來幫助醫院更快地診斷或者分類患者。但根據英國國家數據科學和人工智能中心圖靈研究所的說法，這些預測工具幾乎沒有帶來什么影響。

《麻省理工科技評論》記錄了很多失敗事件，其中大部分源于工具訓練或測試方法出現了錯誤，其中，使用了標記錯誤的數據或者數據來自未知來源是常見的罪魁禍首。

劍橋大學機器學習研究員Derek Driggs和他的同事在《Nature Machine Intelligence》上發表了一篇論文，探討了使用深度學習模型對病毒進行診斷。該論文最后明確，深度學習技術不適合臨床使用。例如Driggs的團隊發現，他們自己的模型存在缺陷，因為模型訓練采用的數據集中，包括了掃描操作時躺著的患者和站立的患者的掃描文件。躺著的患者患重病的可能性更大，于是該算法學會了根據掃描中患者的位置來發現新冠風險。

類似的例子還包括使用含有健康兒童胸部掃描的數據集對算法進行訓練，該算法最后卻學會了識別哪個是兒童，而不是高危患者。

2.購房算法失準導致Zillow損失數百萬美元、大幅裁員

2021年11月，在線房地產交易巨頭Zillow向股東表示，將在未來幾個季度結束Zillow Offers業務，并裁員25%，也就是約2000名員工，而這主要歸咎于Zillow因為用于預測房價的機器學習算法出現錯誤而導致了一系列后果。

Zillow Offers是一個程序，Zillow通過該程序根據機器學習算法得出的房屋價值“Zestimate”指數對房產進行現金報價，這么做是為了對房產快速進行翻新轉售。但是Zillow公司的一位發言人告訴CNN，該算法的中位錯誤率為1.9%，對于市場交易之外的房屋評估錯誤率可能更高，高達6.9%。

CNN報道稱，Zillow自2018年4月上線以來通過Zillow Offers買入了27000套房屋，但到2021年9月底僅售出17000套。新冠疫情大爆發和家庭裝修勞動力短缺等黑天鵝事件，導致了算法的準確性問題。

Zillow稱，該算法導致公司無意中以高于當前估價的價格買入房屋，導致2021年第三季度的庫存價格減記為3.04億美元。

Zillow公司聯合創始人、首席執行官Rich Barton在公告發布后與投資者舉行的電話會議上表示，或許他們可以調整算法，但最終風險太大。

3.Excel表格數據限制導致英國數千新冠病例未被上報

2020年10月，負責統計新增新冠病毒感染數量的英國政府機構英國公共衛生部(PHE)透露，在9月25日至10月2日期間，有近16000例新冠病毒病例并未上報。罪魁禍首是誰?答案是微軟Excel中的數據限制問題。

英國公共衛生部使用自動化流程將新冠病毒陽性的實驗室結果作為CSV文件傳輸到Excel模板中，用于報告儀表板和密接追蹤。然而不幸的是，Excel電子表格每個工作表最多支持1048576行和16384列。而且，英國公共衛生部是按照列而不是按行輸出信息的，所以當到了16384列限制的時候，Excel就會自動切斷剩下的15841條記錄。

雖然這個“故障”并沒有妨礙接受檢測的個人收到檢測結果，但確實妨礙了密切接觸者的追蹤工作，使英國國家衛生服務部(NHS)更難發現和通知與感染患者密切接觸的個人。英國公共衛生部臨時首席執行官Michael Brodie在10月4日的一份聲明中表示，英國國家衛生服務部測試和追蹤系統以及英國公共衛生部迅速解決了這個問題，并將所有重大記錄立即轉移到該系統中。

英國公共衛生部采取了一項“快速解決”措施，先是把大文件進行拆分，然后對所有系統進行了全面端到端的審查，以防止未來再發生類似事件。

4.美國國內醫療算法未能標記黑人患者

2019年發表在《科學》雜志上的一項研究顯示，美國各地的醫院和保險公司都使用一種醫療預測算法，來識別那些需要“高風險護理管理”計劃的患者，但這種算法不太可能單獨挑出黑人患者。

這項高風險護理管理計劃旨在為慢性病患者提供訓練有素的護理人員以及初級保健監測服務，以防止嚴重并發癥的發生。但該算法將白人患者推薦給該計劃的幾率，要高于黑人患者。

研究發現，該算法使用醫療支出作為確定個人醫療需求的依據。但根據《科學美國人》的說法，那些病情較重的黑人患者所花費的醫療費用，與健康的白人所花費的醫療費用是差不多的，這意味著即使黑人患者的醫療需求更高，但他們的風險評分卻很低。

研究人員認為，可能有幾個因素，首先，有色人種收入較低的幾率更高，即使他們有保險，也不太可能獲得相應的醫療服務。隱性偏見也可能導致有色人種接受的護理服務質量較低。

雖然該研究并沒有公開具體的算法或者開發人員，但有研究人員告訴《科學美國人》，他們正在與開發人員合作解決這個問題。

5.數據集訓練出的微軟聊天機器人發布種族主義推文

2016年3月，微軟發現，使用推特交互功能作為機器學習算法的訓練數據，可能會產生令人失望的結果。

微軟在推特平臺上發布了AI聊天機器人“Tay”，并將其描述為一項有關“對話理解”的實驗。微軟給這個聊天機器人設計了一個少女的角色，結合使用機器學習和自然語言處理，通過推特與用戶進行互動。微軟用匿名的公共數據和喜劇演員預先編寫的一些材料輸入到機器人中，然后讓它從社交網絡上的互動信息中進行自我學習和自我發展。

這個聊天機器人在16個小時內發布了95000多條推文，迅速變成了公然的種族主義、厭女主義和反猶太主義。微軟迅速叫停了并進行調整，但最終還是終止了該服務。

事件發生后，微軟研究與孵化部門企業副總裁Peter Lee(后來擔任了微軟醫療企業副總裁)在微軟官方博客上的一篇文章中寫道：“我們對來自Tay的無意冒犯和傷害性推文深表歉意，這些推文并不代表我們的立場，也不能代表我們設計Tay的方式。”

Lee指出，Tay的前身是微軟2014年在中國發布的小冰，在Tay發布前的兩年時間里，它已經成功地與超過4000萬人進行了對話。微軟沒有考慮到的是，一群推特用戶會立即開始向Tay發起種族主義和厭惡女性的評論，而機器人Tay也迅速地從這些信息中學習，并最終整合到自己的推文中。

“盡管我們已經為很多系統濫用情況做好了準備，但我們卻對這種特定的攻擊行為嚴重失察。結果就是，Tay在推特上發布了非常不恰當、應受譴責的文字和圖片。”

6.亞馬遜AI招聘工具只推薦男性

和很多大企業一樣，亞馬遜也渴望擁有一些能夠幫助人力資源部門篩選出并找到最佳候選人的工具。2014年，亞馬遜開始開發AI招聘軟件來實現這一點。但有一個問題：這個非常偏愛男性候選人。2018年，路透社爆料亞馬遜取消了該項目。

亞馬遜的系統給候選人從1到5的星級評分，但系統核心的機器學習模型是根據提交給亞馬遜近10年的簡歷進行訓練的——其中大部分都是男性。因為使用這些數據進行訓練，導致系統開始對簡歷中包含“女性”一詞的短語給出較低評級，甚至是來自女子大學的候選人。

當時亞馬遜公司表示，亞馬遜招聘人員從未使用該工具來評估候選人。

亞馬遜試圖調整該工具以保持中立，但最終決定，無法保證該工具不會學習其他一些歧視性的候選人排序方式，而結束了該項目。

7.零售巨頭Target分析項目侵犯隱私

2012年，零售巨頭Target的一個分析項目，展示了Target是如何從數據中洞察顧客的。據《紐約時報》報道，2002年，Target營銷部門開始思考如何確定顧客是否懷孕，最終誕生了一個預測分析項目，導致Target無意中向一名少女的家人透露她已經懷孕了。反過來，各種文章和營銷博客都開始引用該事件，建議人們避免那些“令人毛骨悚然的因素”。

Target營銷部門想要識別出懷孕的顧客，因為在懷孕這種特殊時期人們很有可能改變他們的購物習慣。這樣如果Target可以這期間觸及到這些顧客，培養這些顧客新的購物行為，讓他們轉向去Target購買百貨、衣服或其他商品。

和其他所有大型零售商一樣，Target一直通過購物者代碼、信用卡、調查等方式收集顧客數據，然后結合購物者的人口統計數據和第三方數據，對所有這些數據進行處理之后，Target的分析團隊就能確定，通過分析Target大約25款在售商品就能生成“懷孕預測”評分。然后，營銷部門就可以針對評分較高的顧客提供優惠券和營銷信息。

進一步的研究表明，對顧客生育情況的研究會讓其中一些顧客感到毛骨悚然。據《泰晤士報》報道，Target沒有放棄有針對性的營銷手段，但確實開始在廣告中混入那些他們明知孕婦不會購買的東西，例如在紙尿褲廣告展示割草機廣告，通過這種廣告組合的方式讓顧客覺得沒那么刻意。