在2010年之前，訓練計算的發展與摩爾定律同步，每兩年一翻;自2010年代初，引入深度學習以來，訓練計算的速度已經加快，大約每六個月增加一倍;2015年末，出現了一種新的趨勢。

基于這些觀察，機器學習的計算歷史被劃分為三個時代——前深度學習時代、深度學習時代和大規模時代。本文總結了用于訓練高級機器學習系統快速增長的計算需求。

趨勢

比較是在一個由123個里程碑式的機器學習系統組成的數據集上進行的，并標注了訓練它們所需的計算量。在深度學習起步之前，有一段進展緩慢的時間，這種趨勢在2010年加速，此后一直沒有放緩。另外，在2015年和2016年，出現了大規模模型的新趨勢，以比上一個時代快兩個數量級的速度擴張。

過渡到深度學習在深度學習出現之前和之后，人們注意到了兩種不同的趨勢機制。

此前，訓練機器學習算法所需的算力是每17至29個月翻一番。之后，整體趨勢加快速，每4到9個月翻一番。

根據摩爾定律，晶體管密度每兩年翻一番(Moore，1965年)，通常簡化為計算性能每兩年翻一番——基本上符合前深度學習時代的趨勢。目前尚不清楚深度學習時代何時開始，從前深度學習到深度學習時代的過渡沒有明顯的間斷。此外，無論深度學習時代始于2010年還是2012年，結果幾乎都不會改變。

大規模深度時代的趨勢

數據顯示，大規模型模型的新趨勢始于2015-2016年，這種新趨勢始于2015年底的AlphaGo，一直持續到現在，大規模模型是由大公司訓練的，更高的訓練預算可能是打破先前的趨勢的原因。

另外，常規規模模型受歡迎的程度并未受到影響，這一趨勢在2016年之前和之后是相同的速度，每5到6個月翻一番，如下表所示。大規模模型的計算量增加的趨勢明顯放緩，每9到10個月翻一番。由于這些模型的數據有限，明顯放緩可能是噪聲的結果。

這一發現與Amodei&Hernandez(2018)和Lyzhov(2021)形成對比，前者發現2012年至2018年的倍增期為3.4個月，后者發現2018年至2020年的倍增期超過2年。以前的評估無法區分這兩個獨立的模式，因為大規模的趨勢是最近才發展起來的。

結論

研究結果與早期研究一致，這顯示了訓練計算更適度的規模。1952年到2010年有18個月的倍增時間，2010年到2022年有6個月的倍增時間，從2015年末到2022年的大規模新趨勢，快了2到3個數量級，倍增時間為10個月。

總而言之，在前深度學習時代，計算進展緩慢，隨著2010年進入深度學習時代，這種趨勢加速了。在2015年底，企業開始生產優于趨勢的大規模模型，如AlphaGo，標志著大規模時代的開始。然而，這并不能確定區分大規模和常規規模的模型而形成模式。

在計算機教學中，硬件基礎設施和工程師的作用越來越大，凸顯了兩者的戰略必要性。獲得巨大的計算預算或計算集群，以及應用它們的專業知識，已經成為前沿機器學習研究的代名詞。