The Gradient 於 2024 年 11 月 16 日發表文章《Shape, Symmetries, and Structure: The Changing Role of Mathematics in Machine Learning Research》，討論數學在現代機器學習研究中角色的轉變。文章指出，過去十年間，機器學習領域取得進展的方式發生了明顯變化。

以精心設計和數學原理為基礎的研究工作，如今往往只能帶來邊際改進；相比之下，算力密集、工程優先、並能夠擴展到越來越大的訓練集的做法，則成為推動進展的主要力量。

研究範式的十年轉變

文章將觀察的時間跨度設定為“過去十年”，並指出這一時期內機器學習研究的推進方式出現了結構性變化。其核心判斷是：數學上精巧的架構設計，與工程上可擴展的大規模訓練，在推動領域進步方面的相對權重已經不同以往。

文章以“Shape, Symmetries, and Structure”（形狀、對稱性與結構）為標題線索，指向數學概念在機器學習研究中的傳統位置。但文章摘要同時強調，這類以數學原理為基礎的研究路徑，在當前階段往往只產生邊際改進。

算力與工程優先的路徑

與數學驅動路徑形成對照的是，文章描述了一類“算力密集且工程優先”的努力。這類工作以擴展到越來越大的訓練集為特徵，並在推動進展方面表現突出。

文章並未在摘要中給出具體案例、模型名稱或量化數據，但其論述框架明確將“規模擴展”與“工程優先”置於當前機器學習進展的中心位置。這一判斷也構成文章討論數學角色被重新定義的事實基礎。

數學角色的重新定義

文章標題與摘要共同指向一個開放性問題：在現代機器學習中，數學究竟扮演甚麼角色？文章並未簡單宣告數學不再重要，而是指出其作用方式正在發生變化——從直接指導精巧架構設計，轉向在更大規模、工程優先的研究範式中被重新定位。

據線索推測，文章後續可能進一步討論形狀、對稱性與結構等數學概念在新研究範式下的位置，但現有素材未提供更多細節。文章發表於 The Gradient，時間為 2024 年 11 月 16 日。

後續關注點

  • 數學原理驅動的研究與算力工程驅動的研究，未來是否會形成新的分工或融合模式。
  • “邊際改進”與“規模擴展”之間的對比，是否會在更長時間尺度上繼續成立。
  • 形狀、對稱性與結構等數學工具，在大規模訓練範式下是否仍有不可替代的作用。