The Gradient 于 2024 年 11 月 16 日发表文章《Shape, Symmetries, and Structure: The Changing Role of Mathematics in Machine Learning Research》，讨论数学在现代机器学习研究中角色的转变。文章指出，过去十年间，机器学习领域取得进展的方式发生了明显变化。

以精心设计和数学原理为基础的研究工作，如今往往只能带来边际改进；相比之下，算力密集、工程优先、并能够扩展到越来越大的训练集的做法，则成为推动进展的主要力量。

研究范式的十年转变

文章将观察的时间跨度设定为“过去十年”，并指出这一时期内机器学习研究的推进方式出现了结构性变化。其核心判断是：数学上精巧的架构设计，与工程上可扩展的大规模训练，在推动领域进步方面的相对权重已经不同以往。

文章以“Shape, Symmetries, and Structure”（形状、对称性与结构）为标题线索，指向数学概念在机器学习研究中的传统位置。但文章摘要同时强调，这类以数学原理为基础的研究路径，在当前阶段往往只产生边际改进。

算力与工程优先的路径

与数学驱动路径形成对照的是，文章描述了一类“算力密集且工程优先”的努力。这类工作以扩展到越来越大的训练集为特征，并在推动进展方面表现突出。

文章并未在摘要中给出具体案例、模型名称或量化数据，但其论述框架明确将“规模扩展”与“工程优先”置于当前机器学习进展的中心位置。这一判断也构成文章讨论数学角色被重新定义的事实基础。

数学角色的重新定义

文章标题与摘要共同指向一个开放性问题：在现代机器学习中，数学究竟扮演什么角色？文章并未简单宣告数学不再重要，而是指出其作用方式正在发生变化——从直接指导精巧架构设计，转向在更大规模、工程优先的研究范式中被重新定位。

据线索推测，文章后续可能进一步讨论形状、对称性与结构等数学概念在新研究范式下的位置，但现有素材未提供更多细节。文章发表于 The Gradient，时间为 2024 年 11 月 16 日。

后续关注点

  • 数学原理驱动的研究与算力工程驱动的研究，未来是否会形成新的分工或融合模式。
  • “边际改进”与“规模扩展”之间的对比，是否会在更长时间尺度上继续成立。
  • 形状、对称性与结构等数学工具，在大规模训练范式下是否仍有不可替代的作用。