AI系統的脆弱性一直被行業人員所詬病，稍微的數據錯誤就會使系統發生故障。例如在圖像識別中，圖片微小的像素改變，不會干擾人類視覺，但機器可能會發生紊亂。正如CVPR 2017論文中所論述的那樣“修改一個像素,就能讓神經網絡識別圖像出錯”。

至于原因，研究人員有過很多探究：數據不夠好，算法設計不精妙....近日，在科技媒體wired上，計算機科學家Erik J. Larson撰文表示：優化思維是AI脆弱性的根源。

"然后，我們必須承認AI當前脆弱性的根源正是AI設計現在推崇的崇高理想：優化。"

優化是推動AI盡可能準確的動力，在抽象的邏輯世界中，這種推動無疑是好的，但在AI運行的現實世界中，每一個好處都是有代價的。例如需要更多數據來提高機器學習計算精度，需要更好的數據來確保計算的真實性。

“這種更好”必須保證不斷的進行數據收集，因此當AI開始逐漸形成完整的畫面時，新數據的出現可能改變現有狀況，從而導致系統崩潰。這也是大眾眼中近乎完美的AI經常“犯精神病”的原因之一：將狗狗當成菠蘿，把無辜的人看成通緝犯。

1.優化的脆弱性

人類不是一個優化者，過去幾萬年大腦本身也并沒有進化出完美優化的功能。大腦是輕量級的，從不追求100%的準確性，并能夠從小數據中得出假設。

換句話說，大腦滿足于在“門檻”上混日子，如果1%的準確率就能讓它生存，那么這就是大腦所需要的準確率。但這種最小生存策略也會導致認知偏見，讓人們思維封閉、魯莽、宿命論、恐慌。

AI嚴格的數據驅動訓練方法能有效避免這種認知偏見，卻也讓其陷入“過度糾正”。確實，對人類而言，好的心態能夠抵御完美主義帶來的破壞性影響，一個不那么神經質的大腦已經幫助我們在“生活的沖撞和搖擺”中茁壯成長。

將這種“反脆弱”引入AI，那么也意味著：與其追求壓縮越來越大的數據堆，不如專注于提高AI對不良信息、用戶差異和環境動蕩的容忍度。這種AI將消耗更少的能量，產生更少的隨機失誤，帶來更少的負擔。如何做？目前來看，有三種方式。

2.構建AI直面不確定性

五百年前，實用主義大師尼科勒·馬基雅維利指出，世俗的成功需要一種反直覺的勇氣。對于聰明人來說，大部分不存在的知識將是不必要的；生活往往不會符合我們的預期。因此，人類可以改變對模糊性的處理方式。

例如當AI遇到單詞suit時，它會通過分析更多的信息來確定該單詞是表示衣服，還是法律名詞。分析更多信息通常意味著利用大數據縮小答案范圍，這在99.9%的情況下有效，剩下的0.1%，AI仍然會“自信”的將suit表示為法律名詞，但實際上它是衣服。

因此，AI應該有足夠大的答案范圍。研究人員在設計AI時候，應該允許“模棱兩可”，并將模糊選項代入后續任務中，就像人類能夠讀懂一首詩歌的多個潛在含義一樣。如果下游任務不允許“模棱兩可”的存在，這時設計的AI應該能請求人類的幫助，讓人類代替它進行決策。

3.用數據作為靈感來源

目前的AI希望通過大數據的發散性思維實現創造。但眾多科學研究顯示，生物的創造力往往涉及無數據和非邏輯過程。因此，依靠大數據或許能夠批量創造出許多“新”作品，但這些作品僅限于歷史數據的混合和匹配。換句話說，大規模的發散性思維的產生必然伴隨著低質量。

數據驅動的創造所產生的局限性可以從GPT-3以及Artbreeder等文本和圖像生成器中看到。通過“觀察”歷史場景，然后添加專家意見，試圖產生下一個梵高。但結果往往是這位“梵高”只能復制以前畫家的作品。這種AI設計文化，顯然誤解了創新的含義。這種情況從大家對FaceNet的盛譽中可見一斑，因為有一些面部識別的創新，仍然是蠻力優化。可以類比為調整汽車的扭矩帶增加汽車性能，并稱其為汽車交通革命。

因此，是時候將數據看成靈感來源，而不是偽造來源了。90年前，《科學發現的邏輯》一書的作者卡爾·波普爾就指出：用事實推翻想法比證明想法更合乎邏輯。將這種思維引入到AI產物中，我們可以將數據的功能從小想法的大量產生者轉變成大規模的毀滅者（a mass destroyer of anything except），當然一些前所未有的想法除外。（譯者注：這里的大規模毀滅者是指將“重復作品”篩選出來）

因此，與其無休止的產生“重復作品”，不如讓計算機搜索有價值的作品，從而找到未被賞識的“梵高”。

4.人機結合

將人腦融入AI聽起來很科幻，短期內很難有大的進展，但我們可以另辟蹊徑，設計友好的人機關系。當前人與機器的合作關系并沒有發揮它應有的作用，人類要么充當機器的保姆，要么充當AI系統更新的附屬品。前者意味著乏味、枯燥，后者意味著被動。如何解決？當前的工作重點已經關注三個方面：

1.攻關科研，讓AI有能力“知道”它何時缺少訓練數據。換句話說，追求正確的AI，不如追求讓AI知道自己何時不正確，賦予AI認知自己的智慧。人類的大腦無法擁有計算機的數據處理速度，所以當無知的算法認為自己無所不能的時候，人類的干預總是太晚。因此，應該通過編程讓“傻瓜”發現自己是“傻瓜”。

2. 完善人機交互界面。因追求優化而造成的不透明設計，即黑盒算法。交互設計應該消除黑盒性質，例如將剛性按鈕（只有一個選項）替換成包含概率的選項，標明第一個選項的可能性為70%，第二個選項的可能性為20%，第三個選項的可能性為5%，以此類推。如果沒有滿意的選項，那么就要求AI重新定向，或者進行手動操作，以最大的限度提高計算機的邏輯和人類的主動性。

3. 仿照大腦建立去中心化的AI模型。大腦包含去中心化的認知機制，例如邏輯、敘述、情感，它們之間相互制約、相互平衡。因此，AI系統也可以設計包含不同推理架構，例如如果深度學習不能訪問它所需要的數據，系統就可以過渡到if-then的控制程序。更重要的是，AI可以向外看，從人類學的線索中學習，而不是狂熱地集中在自己的內部優化策略上。

以上技術建議并不是未來虛幻的想象，它是現在就可以實現的設計創新。需要研究者拋棄大數據以及完美智能的假設，在這個不斷變化的世界中，創造性要求比最準確要求來的更加明智。