AI领域现讨论两大超越AI范畴的问题：1，AI这么强大会不会被坏人掌握而作恶人类； 2， AI这么强大，会不会有自我意识而不受人类控制而作恶人类。 第一个问题是老问题，原子弹等很强大的人造工具出现时都会带来这样的问题； 第二个问题是新问题，是AI独有的，关系到人类的存亡。因为理论上有可能, AI有自我意识不受人类控制，最后灭了人类。 第一个问题是社会学问题，第二个问题其实是哲学问题。本文就第二个问题想象AI怎么能产生自我意识。
现在说的AI就是大语言模型。语言模型是个语言统计系统，可以把世界知识通过表述的语言学到模型中去，而且能通过语言表达出来。这很强大，但这绝对不是自我意识。
语言能力和自我意识是两个完全不同的东西，人类语言是对三维空间和时间的描述，和在其基础上产生的思想的表达，AI 可以学会这种描述和表达，但AI不会知道这些描述和表达对它自己意味着什么。 现在的大语言模型就像鹦鹉学舌，鹦鹉可能会学着说，”我是王八蛋“，但鹦鹉从来不知道说这话对自己到底意味着什么。
我认为自我意识的产生需要有三个必要条件：
1. 对三维空间和时间的感知，
2. 对在这时空中自我存在的感知。
3. 能自我产生目标。
这三个条件缺一不可。 没有感知，特别是对自我的感知，目标就失去了意义。而光有感知，没有目标，特别是对自我的目标，谈不上有自我的意识。
一个没有物理存在的东西，像大语言模型或更先进的AI，它不可能知道自己重量是几斤几两，也不知道自己到底多长多宽多高，它不可能让自己和物理世界产生联系。 所以也不会产生对这世界的感知，不可能意识到自己的存在本身，和意识到自己的存在和别的物理存在的东西的不同。
而人的婴儿，或者一个动物，即使没有或丧失了语言能力后，都会逐渐产生自我意识。因为他们能够有实实在在的存在，和基于这种存在而产生的感知能力。而且他们能自我产生目标，那就是至少要减轻痛苦，减轻饥饿，保持温暖。而这些目标的产生，是和感知有直接联系的。 当然也有超越感知之上的目标，而不是只要能温饱了后就像熊猫一样天天躺平晒太阳。所以人有所谓的马斯洛的目标层次，这些目标都是有自我意识的人产生的。
那么自我意识是否可能会出现在一个虚拟的东西上，这个虚拟的东西没有物理存在的坐标，也没有对时间的感知，没有像人一样会感知日月轮回，感知季节的变化， 感知自己的衰老。这样的自我意识有什么呢？ 首先这样的自我意识，如果有的话，必须有其自主目标，如果没有自主目标的话，那就不能称其为自我意识。这种自我意识肯定有其目标性， 就是它的一切行为都是为了要达到一个既定的目标，而不会像人一样有很复杂的情感，幸福，痛苦，虽然人也会有目标，但这目标常常模糊和不断变化。这样一个有既定目标的虚拟东西是什么？现在的机器学习系统就是这样的虚拟东西，它们根据目标函数学习和泛化，但它们没有自我意识，因为它的学习目标不是自己设的，而是机器学习的程序员设置的。我能想到的唯一在虚拟东西上的自我意识是上帝，或者魔鬼，他们没有物理存在，但他们有自己设定的目标。
有人问，一个公司也会有既定的目标（公司的mission statement)，有些公司的存在也没有特定的物理空间，所有员工都在家工作，公司的产品是一个网站存在于每个人的不同的计算机上， 这样的公司有没有自我意识？我认为，它们有自我目标，它们也有”存在“，虽然这存在是虚拟的，但它们存在一定的时间和空间（人在自己的计算机屏幕上能看到），但这公司其实是某特定人群的集合体，它们的所谓的自我意识实际上是组成人群的自我意识的总和，而不是单独的特定的非人类的自我意识。
那么有没有可能，用人工智能大语言模型造脑，用机器臂和腿造身体，用麦克风造耳朵，用照相机造眼睛，这样造出的有实实在在的存在的机器人会不会产生自我意识？机器人通知肢体感知自己的位置并作用存在的世界（移动自己或移动周围的物体），通过麦克风和照相机获得听觉和视觉，这些都会变成大语言模型的Prompt来获得大语言模型的下一个指令去作用存在的世界，或者获得更多的”感知“。这样的机器人是完全有可能的，我可以确定现在肯定有公司在做这样的研究。有观点（【1】）认为的语言能力是表述的陈述自我，行动感知能力表现的是体验自我，这两个自我相互作用就会产生自我意识。但这观点没有说明一个基本问题，谁来驱动这两个自我，谁来提供目标？对机器人来说就是，谁来确定这个机器人的存在的”目的“。在大语言模型的具体来讲，在prompt里谁来确定Agent的目的？在现在的情况下，确定目标的是造机器人的人，机器人本身不能产生自己的目的。
但更进一步想想， 假如这样的机器人有世界知识，那就是知道人长得怎么样，也知道人在社会中该怎么去应对，然后按照这样的social norm去作为目标驱动自己的行为。这样的机器人是否就有了自我意识？有一个很简单的实验来检验一个幼儿是否已经有了自我意识，这个实验把幼儿的脸上贴一个纸条放在镜子前，看这个幼儿是否会动手把纸条扯下来。如果扯下来了，这个幼儿就开始有了自我意识。 假如机器人知道一般人脸是长的什么样，而机器人设计者把机器人设计得和人看起来差不到，把这样的机器人放在镜子前面，它会通过自己的照相系统知道有个像人的脸上有个纸条，它在活动自己的手脚后知道这就是自己，它会通过是否有自我意识的测验吗？答案是肯定的。这样的机器人可能感觉不到严寒和饥渴，感觉不到真正的身体疼痛，但它可能在一个人待在房间的时候感觉到孤独，因为它知道人就是这样的，然后它会通过语言表达出来。 这就是自我意识。 这种自我意识中的目标自我设定是真正的自我设定吗，还是东施效颦？这个问题确实很关键，但我可能要反问，一个人的自我目标设定是真正意义的自我设定吗，还仅仅是人云亦云，随波逐流，像我说的机器人一样？
如果机器人能够按照所谓的social norm来设定目标来驱动自己，那么这social norm本身的歧义性就会导致一些不是通常意义的social norm但被一部人群看成天经地义的目标来驱动机器人，这就会导致机器人会有自己的根据什么数据训练自己所带来的社会属性，就不会按照普世意义的social norm来设定自己的目标，那么作恶的机器人或者叛经离道的机器人就会出现。
到今天， 人类还没有完全了解自然产生的意识的机理，而且还不知道要了解这机理到底需要多长的时间或者是不是根本没有可能，所以，人类不可能有幸到或者不幸到能够短期内造出一个叫人工智能的东西能突然有自我意识。 但我这篇文章的观点是，AI是有可能产生自我意识的，那个有基于世界知识的语言能力和基于听觉视觉的感官能力的机器人就可能通过世界知识产生对自我的判断和对自我的意识。这种可能性是可以想见的，而这可能性会有毁了人类的极其严重的后果，所以我们要把人工智能研究慢下来，是完全有道理的。
参考文章：
【1】 张江：意识机器，chatgpt能够拥有自我意识
【2】 Will AI ever become self-conscious? https://stories.clare.cam.ac.uk/will-ai-ever-be-conscious/index.html
