提高认知才能开阔眼界

认人待物,不断学习,提高商业和经济方敏锐的洞察力
个人资料
正文

剧体,Richard Sutton;他担心业界过于强调规模化 (scaling up),即用更多数据、更多参数和更多算力

(2025-10-09 12:26:29) 下一个

对当前以大规模数据拟合为主的深度学习模型,即当前的大模型,提出了深刻的质疑和担忧:

  • 强调交互而非拟合: 他认为真正的智能应当是通过试错规划与环境的持续交互来学习的,就像人类和动物一样。而当前的大模型更多是在做大规模的模式识别和数据拟合,缺乏这种主动的、基于目标的交互能力。

  • 预测是智能核心: 萨顿在其著名的论文《走向预测计算架构》中提出,预测是智能的基础,智能体应该建立起对未来环境的预测模型,并以此驱动行动。这与大模型主要关注序列生成和内容输出的范式有所不同。

  • 对规模化计算的担忧: 他担心业界过于强调规模化 (scaling up),即用更多数据、更多参数和更多算力来简单地扩展现有模型,而不是在底层算法和原理上寻求根本性的突破。他认为仅靠规模化无法带来真正的、类人的智能。

[ 打印 ]
评论
目前还没有任何评论
登录后才可评论.