狮山巡礼
投资杂谈
https://mp.weixin.qq.com/s/MNVcGfC56DOwk5uljfwOow
这是近期发的第二支辛顿教授的访谈记录了（上一次访谈见这里：《辛顿学术讲座：图灵相信的是另一种AI、反向传播比人脑效果好，开源模型将给世界带来致命危险》）。鉴于他已经拿了诺奖，他和自己的学生也在一大堆AI公司里有股份，到了这个份儿，名声和钱是都不缺了，出来讲话就只剩一个理由，表达自己的立场，对AI应该向何处发展做些呼吁（无论我们同意还是反对他的观点）。
?
这次他参加的是TVO电视访谈节目，接受了主持人Steve Paikin（史蒂夫·派金）的采访。作为多伦多大学计算机科学荣誉教授，据说是这次拿了诺奖才有一个独立的办公室，访谈也就从他获得诺贝尔奖的喜悦开始，然后聊到他对人工智能短期和长期威胁的深切担忧，以及他最近与首富埃隆·马斯克的公开争论等多个话题。由于辛顿有腰伤，所以他基本上不能长时间坐着，上图也能显示出主持人是作者的，他是站着的。
谈话里也是充满了矛盾，有他对人工智能如何彻底改变医疗保健和教育的乐观展望，也表达了对人工智能可能导致人类灭绝的忧虑。辛顿教授作为前谷歌员工一手推动了深度学习浪潮，然后又因担心AI安全问题而无法保持和公司立场一致而选择离职。这就是人生啊。
一、获得诺贝尔物理学奖的喜悦与意外
访谈开始，Paikin播放了一段视频，展示瑞典国王卡尔十六世·古斯塔夫在斯德哥尔摩为辛顿颁发诺贝尔奖的场景。当被问及这种荣誉带来的兴奋感何时会消退时，辛顿表示，这种感觉仍未完全消失。
?
Paikin好奇地询问获奖当天的感受，辛顿形容那是"令人惊叹的一天"，尤其考虑到他"并非从事物理学研究却获得了物理学诺贝尔奖"这一有趣的事实。当Paikin要求他解释这一异常情况时，辛顿解释道："我认为他们想要表彰人工智能领域的发展，因为现在科学界最令人兴奋的领域就是AI。所以他们某种程度上重新定义了物理学奖，假装我做的是物理学。"
有趣的是，辛顿承认自己曾直言不讳地向诺贝尔委员会指出这一点："谢谢你们的诺贝尔奖，但你们知道我不做物理学研究。"Paikin问道这样说是否不妥，辛顿幽默地表示委员会基本是让他不要对送上门的礼物挑三拣四。
关于诺贝尔奖章，辛顿透露它由六盎司黄金制成，如果熔化后价值约15,000美元。但当Paikin询问他将奖章保存在何处时，辛顿谨慎地拒绝透露，表示担心安全问题。
Paikin随后朗读了辛顿获奖的官方理由："因为在人工神经网络机器学习方面的基础性发现和发明"，并请辛顿用通俗易懂的语言解释这意味着什么。
二、神经网络与机器学习的核心原理解析
辛顿以通俗易懂的方式解释了现代AI技术（机器学习、深度学习）的研究。他从人脑结构开始说起："在你的大脑中，有大量被称为神经元的脑细胞，它们之间有连接。当你学习新东西时，本质上是在改变这些连接的强度。"
他进一步阐述道："要弄清楚大脑如何工作，你必须找出改变连接强度的规则。这是你需要知道的全部。大脑如何决定是增强还是减弱连接，使你更好地理解我刚才说的话？你的大脑有一种方法来确定是略微加强还是略微减弱连接强度。问题是，这种方法是什么？它是如何做到的？"
辛顿解释了他研究的关键问题："如果我们能够模仿这一过程，用模拟的脑细胞建立一个大型网络，会发生什么？现在我们知道会发生什么——它会变得非常聪明。"
当被问及为何在众多科学研究领域中选择这一方向时，辛顿坚定地回答："因为这显然是最有趣的研究领域。"Paikin问道："对你来说？"辛顿更加坚定："对所有人来说。因为要真正理解人类，你需要理解大脑如何工作。尽管我们对大脑的工作原理有了更多的了解，但我们仍然不完全知道它是如何工作的。这似乎是一个巨大的问题。"
三、人工智能的短期风险与现实威胁
访谈转向了辛顿对人工智能风险的担忧，这也是他几年前辞去谷歌工作的原因。他将AI风险分为两类："有两种风险。一种是坏人滥用AI的风险，这些是更短期的风险，更紧迫的风险。这已经在发生了。"
辛顿举例说明，恶意行为者可能会"获取大量关于人们的数据，并利用这些数据针对性地制作假AI视频，例如说服这些人不要去投票。"这类问题我们已经面临。
他特别提到网络攻击的问题："2023年到2024年间，网络钓鱼攻击增加了1200%。2024年的网络钓鱼攻击是2023年的12倍。这是因为这些大型语言模型使得攻击变得更加有效。"
辛顿解释了技术发展如何使欺诈变得更加难以识别："过去，你收到的网络钓鱼攻击中语法可能有些问题，可能是直接从乌克兰语或其他语言翻译过来的，拼写可能有误，所以你知道这是钓鱼攻击。现在它们全都是完美的英语。"Paikin附和道："现在变得太复杂了。"
四、长期存在威胁与人工智能超越人类智能的风险
谈到长期风险时，辛顿表达了更为严重的担忧："长期风险是AI将变得比我们更聪明。几乎所有领先的研究人员都同意它会变得比我们更聪明，他们只是在'何时'这个问题上有分歧。有些人认为可能还需要20年，有些人认为3年，少数人认为1年。"
他提出了一个发人深省的问题："你知道多少个更聪明的事物被不那么聪明的事物控制的例子？不多。我们知道稍微聪明一点的人可以被不那么聪明的人控制，但这不是智力上的巨大差距。"
当被问及更具体的长期风险时，辛顿直言不讳："长期风险是它会变得比我们更聪明。几乎所有领先的研究人员都同意它会变得比我们更聪明，他们只是在何时发生上有分歧。我们都同意它会变得比我们更聪明，问题是，然后会发生什么？基本上，我们不知道。"
辛顿提出了一个令人担忧的可能性："我猜测有10%到20%的可能性它会接管一切。但我真的不知道。这个可能性大于1%，小于99%。"当Paikin明确问道这是否意味着人类将被灭绝时，辛顿确认："是的，如果它接管一切，这就会发生。"
虽然他不愿给出具体的时间框架，但他警告说："如果我们现在不做点什么，可能不会那么长。现在，我们处于历史的一个节点，我们仍有机会弄清楚如何开发超智能AI并使其安全。我们不知道如何做到这一点，我们甚至不知道这是否可能。希望这是可能的，如果可能的话，我们应该尝试弄清楚这个问题，我们应该投入大量精力来解决这个问题。"
五、人工智能可能导致人类灭绝的方式
当Paikin要求辛顿说明AI如何可能导致人类灭绝时，他回答："如果它们想这么做，有太多不同的方式可以做到。我不认为值得推测具体方式。我不认为会像《终结者》电影那样。例如，它们可能会创造一种病毒，杀死我们所有人。"
辛顿强调，尽管有研究在关注安全问题和这种存在性威胁，但"远远不够"。他批评道："大公司受短期利润的驱动。我们需要民众告诉政府，应该让这些大公司进行更多的安全研究。它们应该在这方面投入大约三分之一的资源。"
当被问及这方面的进展时，辛顿承认："人们正变得更加意识到这个问题。政治家们也在变得更加意识到这个问题。"不过，他也指出最近在美国出现了倒退："拜登政府对AI安全感兴趣，并发布了一项行政命令。而我认为，在特朗普治下，这与所有拜登的行政命令一样被废除了。"Paikin询问这是否是因为"美国最富有的科技人士现在都支持这届政府"，辛顿遗憾地承认："遗憾的是，确实如此。"
六、应对人工智能威胁的解决方案与国际合作
关于如何应对人工智能威胁，辛顿强调了建立共识的重要性："第一步是建立共识，认识到这是一个真正严重的问题，而不仅仅是科幻小说。我们需要说服大公司进行更多的安全研究。这就像气候变化一样，你必须首先建立共识，认识到气候变化确实存在，如果我们不采取行动，后果将非常可怕。然后你才能开始采取行动，虽然不够多，但至少有一些。对于AI威胁，我们首先需要达成共识。"
辛顿指出一个积极的方面是，面对存在性威胁，不同国家应该能够合作："对于可能灭绝人类的存在性威胁...所有不同的国家应该能够合作。我们应该能够与中国合作。"
不过，他表示对"我们"的概念感到困惑："实际上，我不确定'我们'是谁了。我过去认为'我们'是指加拿大和美国，但现在不再是一个整体了。"他继续说道："但无论如何，各国应该能够合作，因为没有人想被灭绝。每个国家的领导人都不想被灭绝，特朗普也不想被灭绝。他们可以在这个存在性威胁上合作。这是一个小小的好消息。但坏消息是，我们不知道该怎么做，我们迫切需要现在就进行研究，弄清楚该怎么做。"
当被问及是否有国际机构在领导这种合作时，辛顿表示："有一些组织正在尝试帮助推动这种合作，但目前还没有一个主导的组织。"对于联合国是否适合担当这一角色，他直言不讳："联合国有点软弱，是吧？它不能胜任这项任务。"
他指出，拥有资源的大型科技公司必须发挥作用："大公司拥有资源。为了研究AI安全，你需要使用最新的、最先进的模型。只有大公司有资源来训练这些模型。"
七、与马斯克的公开争论及对美国的评论
访谈转向了辛顿与埃隆·马斯克的关系。辛顿表示，他在某些问题上与马斯克意见一致："我在各种问题上与他达成一致。例如，我同意他关于存在性威胁的看法，他认真对待这个问题。他也做了一些好事，比如电动汽车，以及利用星链为乌克兰人提供通信服务。所以他确实做了一些好事。"
但辛顿对马斯克目前的行为提出了尖锐批评："但他现在与DOGE（特朗普政府精简部门）所做的事情是令人憎恶的。他几乎是随意地裁减大量工作人员，这些都是诚实的、去工作并做好工作的人。他指责他们贪钱、懒惰、无用，然后就裁掉他们的工作。这将对人们产生可怕的后果，而他似乎不在乎。唯一一次我看到他在乎是当我批评他时，他说我很残忍。"
Paikin提到辛顿在X平台（前Twitter）上发表的一条评论："我认为埃隆·马斯克应该被开除出英国皇家学会，不是因为他兜售阴谋论和邪恶敬礼，而是因为他对美国科学机构造成的巨大伤害。现在让我们看看他是否真的相信言论自由。"
马斯克的回应是："只有懦弱、不安全的傻瓜才会在乎奖项和会员资格。历史是真正的裁判，永远如此。你上面的评论是粗心、无知、残忍和虚假的。话虽如此，有什么具体行动需要纠正？我会犯错，但会努力迅速修正。"
?
辛顿表示他选择不与马斯克进行长时间的交流，因为"我希望能够进入美国"，而他的朋友Yann LeCun回答了马斯克的问题。他还透露几年前曾与马斯克通过电话："几年前，他要求我给他打电话，因为他想谈论存在性威胁。实际上，他想招募我作为X的顾问。"辛顿拒绝了这一邀请，尽管马斯克雇佣了他最好的一个学生作为技术人员。
关于马斯克在舞台上做出的手势，当Paikin提到有人认为那不是邪恶敬礼而只是向人群表达热情时，辛顿明确表示不相信这种解释："特别是如果你看看他的历史和他父母的观点等等。他似乎在某种程度上与这些“邪恶”立场情况搭上关系。"
八、对美国政治和科学机构的批评
辛顿对美国当前的情况表达了强烈的批评："让我们直接说明正在发生的事情。马斯克希望对富人进行大规模减税。他希望减税4万亿美元。这就是它将花的钱。为了在不大幅增加国债的情况下获得这笔钱，他们必须在某处削减。或者对我们征收关税。他们计划做的两件事是削减政府支出和征收关税，而关税实际上是对穷人的税收。关税是一种非累进税。它们将使所有东西变得更加昂贵。普通人将最终为他们购买的东西多支付4万亿美元，以支付富人的减税。这太令人反感了。这是美国现在的政府政策，令人反感。"
当被问及他所指的"对美国科学机构的伤害"具体是什么时，辛顿以任命罗伯特·肯尼迪小儿（RFK Jr.）为例："例如，如果你让一个大脑里有寄生虫的疯子负责卫生系统。"Paikin确认他指的是RFK Jr.，辛顿表示他并不完全反对RFK Jr.的所有观点："我不会这么说。这些事情从来不是完全非黑即白的。我认为他对人们拥有健康饮食的强调是重要的。也许他强烈反对的一些东西，不完全正确。但人们应该有健康饮食、这会改善健康的观点是一个重要的想法。他在某种程度上推动了这一点。但他说的其他大部分内容都是胡说八道。"
辛顿不认同RFK Jr.关于疫苗和制药行业的观点："已经有很多关于这方面的研究了。由于这些疯狂的说法，人们已经非常认真地对待这个问题。大多数推动这种观点的人只是想向你销售药物或销售一些东西。他们这样做是作为一种销售技巧来吸引你的注意力。他们自己并不真正相信这些。据我所知，他自己的孩子都接种了疫苗。这说明了很多。这让我想起了福克斯新闻全天候反对强制接种疫苗的时候，而所有福克斯员工都必须接种疫苗。"
九、人工智能在医疗和教育领域的积极前景
在讨论了AI的风险后，辛顿转向了其积极的一面，特别是在医疗和教育领域的应用前景。
关于医疗保健，他热情地说道："例如，在医疗保健领域，它将做出惊人的事情。你将获得更好的医疗保健。你将拥有一个看过1亿名患者的家庭医生，他知道并记得对你和你的亲属进行的所有测试结果，并能提供更好的诊断。"
他指出这种改进已经开始发生："现在，与医生合作的AI系统在诊断复杂病例时的错误率比单独的医生要低得多。这已经在发生，而且会变得越来越好。"
在教育方面，辛顿同样看到了巨大的潜力："在教育中也会很惊人。我们知道，有私人导师的孩子学习速度会快一倍，因为导师可以看到孩子误解的地方。现在，AI系统还没有达到这个水平，但可能在未来10年内，它们会变得真正出色。"
他详细解释了AI如何改变教育体验："当孩子在学习某样东西时，AI系统将能够准确地看到孩子误解的地方。因为AI系统已经见过一百万其他孩子，它知道孩子确切地误解了什么，知道给孩子什么样的例子来清楚地解释这种误解。所以如果一个人类私人导师的效果是提高两倍，这些系统将提高三到四倍。"
当Paikin问及这对大学是否是好消息时，辛顿坦率地说："可能不是好消息，因为可能不再需要它们了。"不过，他补充道："你会需要它们来进行研究生研究，我认为你仍然需要学徒制来学习如何进行研究。因为我们无法说明如何进行研究的具体规则。没有规则，这是一种学徒制。"
对于那些认为学习编程或计算机科学是好主意的学生，辛顿承认他们可能面临挑战："他们很可能会遇到麻烦，是的。"不过他也指出，计算机科学教育不仅仅是学习编程。
十、"AI教父"称号的由来与个人捐赠
谈话转向了辛顿被称为"AI教父"（也有人叫他深度学习教父）的由来。当被问及是否喜欢这个称号时，辛顿坦言："我确实挺喜欢的。"有趣的是，这个称号最初并非褒义："有人在一次会议后开始这样称呼我，在那次会议中我担任主席，但我不断打断别人。"
他解释道："那是在英国温莎的一次会议，会后Andrew Ng开始称我为教父。"Paikin问道："因为你打断别人？"辛顿确认："是的，某种程度上。我是那里年龄最大的人，而且我在指挥别人。"
访谈也触及了辛顿将其一半诺贝尔奖金（约50万美元）中的35万加元捐赠给Water First的决定。当被问及Water First是什么组织时，辛顿解释道："Water First是一个组织，训练居住在原住民社区的人们掌握水技术，使社区居民能够确保他们的水安全。"
他分享了个人经历，解释为何选择这个组织："我在秘鲁收养了一个孩子，在那里生活了两个月，那里的自来水不能饮用，几乎是致命的。所以我经历了没有安全饮用水是什么感觉。如果你有一个婴儿，没有安全的饮用水，这会占用你所有的时间，想办法防止婴儿生病。这是一个额外的负担，对人们来说是疯狂的。我认为在像加拿大这样的富裕国家，有这么多原住民社区没有安全的饮用水，这是荒谬的。例如在安大略省，20%的原住民社区没有安全的饮用水。"
十一、个人未来与退休计划
访谈结束前，Paikin询问了辛顿对未来的计划。77岁的辛顿表示："我正在尝试退休。我做得很糟糕。"当Paikin评论说这个年龄太年轻，不适合退休时，辛顿回应道："我以为我75岁离开谷歌是因为想退休。"
Paikin称赞辛顿看起来非常年轻健康，认为他"还有至少一两章，甚至三章"的职业生涯，并幽默地表示"也许你和埃隆会重归于好，共同解决我们需要解决的问题。"对此，辛顿干脆地回答："我认为这不太可能。"
总结：AI的未来与人类的命运
作为神经网络和深度学习的先驱，辛顿对AI的发展轨迹一直有着独特的洞察力。
他的关键警告是——人工智能很可能在未来超越人类智能，而我们对此后果的理解仍然有限。尽管预测有10%-20%的几率AI可能"接管一切"并导致人类灭绝听起来像科幻小说，但辛顿强调这是一个需要认真对待的现实威胁。
同时，辛顿也看到了AI在医疗和教育等领域的巨大潜力。他描绘了一个AI能够彻底改善医疗诊断和个性化教育的未来，这些积极发展可能会带来社会福祉的显著提升。
最令人深思的是辛顿对AI安全研究和国际合作的呼吁。他将AI存在性风险比作气候变化，强调我们首先需要建立共识，然后才能采取有效行动。但与气候变化不同，面对AI可能带来的灭绝风险，各国应该能够更容易达成合作，因为"没有人想被灭绝"。
然而，目前的地缘现实和大型科技公司的短期利益驱动可能会阻碍必要的安全研究和监管。辛顿批评了美国现在对科学机构的破坏，以及对富人减税政策的不公正影响，表明技术发展从来不是在真空中进行的。
作为一位刚获得诺贝尔奖的科学家，辛顿选择将一半奖金捐给致力于为原住民社区提供安全饮用水的组织，这一行为展现了他对社会责任的重视，也提醒我们在追求技术进步的同时，不应忽视基本人权和社会公正。
正如辛顿所言，"现在，我们处于历史的一个节点，我们仍有机会弄清楚如何开发超智能AI并使其安全。"抓住这个机会，可能是我们这个时代最重要的任务之一。
