对当前以大规模数据拟合为主的深度学习模型,即当前的大模型,提出了深刻的质疑和担忧:
强调交互而非拟合: 他认为真正的智能应当是通过试错、规划和与环境的持续交互来学习的,就像人类和动物一样。而当前的大模型更多是在做大规模的模式识别和数据拟合,缺乏这种主动的、基于目标的交互能力。
预测是智能核心: 萨顿在其著名的论文《走向预测计算架构》中提出,预测是智能的基础,智能体应该建立起对未来环境的预测模型,并以此驱动行动。这与大模型主要关注序列生成和内容输出的范式有所不同。
对规模化计算的担忧: 他担心业界过于强调规模化 (scaling up),即用更多数据、更多参数和更多算力来简单地扩展现有模型,而不是在底层算法和原理上寻求根本性的突破。他认为仅靠规模化无法带来真正的、类人的智能。