机器智能 18. 机器智能研究的伦理边界 （转）

机器智能研究的伦理边界

我在上一篇提出了机器智能有可能超越人类，但在这篇我要特别强调的是为了智能机器与人类更好地和平相处，我们应该给机器智能的研究划定一条红线，因为越过了这条红线，智能机器就会不是帮助人类提高生活质量了，而是以自“我”为中心了。

大家是否注意到，我在讨论智能时回避了一个非常特别的概念那就是“意识”。在很多人看来意识是一个与智慧密切相关的概念，怎么就漏了呢？我承认意识确实很特别、也很重要，但并不是不可或缺，甚至站在人类的立场上，让机器智能具有意识，可能还是有害的，是应该禁止的。在讲这个问题之前。让我们先来简单地认识一下何谓意识。

其实意识是一个非常特殊的思维活动，是一个与“我”这个概念相关联的思维活动。因为有了“我”，然后我们的思维与“我”相连时就会体现出自我性，自主性、也就产生了所谓的“自我意识”，这是所有意识的基础。至于为什么会产生这样的“我”的概念，究其原因是因为任何系统都有边界，都会内外有别。而对于我们人类及哺乳类动物而言，由于养育后代的哺乳行为是一个资源有限的专向性行为，这必然使得在哺乳过程及后续的养育过程中需区分出“我”的哺育范围，于是“我”的概念就产生了，意识这种与“我”相关的思维活动也随之孕育而生。

大家是否注意到我们每个人都没有幼儿时的记忆，其原因是因为当时还没有“我”的概念，此时就没有意识，也不会有关于“我”的记忆了。只有当产生了“我”的概念之后，才会有意识意义上的记忆，才会有自我。然后有了“我”之后，我们的所有的概念与思考都会与“我”相关联，此时，我们的思维就会不自觉地与自身利益权衡相关联了，如会产生：“我”的拥有、“我”的思考、"我"的利益等，这便产生了另一个重要的概念“私”，而当“私”产生后，便有了排他性。这样的一种意识思维活动对于我们人类而言是好还是坏，我曾在过往的系列中，专门写过两篇论《系统边界 -- 关于“私”》《系统整合 -- 关于“公”》予以阐述，我认为“私”虽然极大地促进了人类的发展，但是系统的的演化归根到底还是协同演化，还是“公”在发挥着作用，私”还是应该有所约束，而不能无限膨胀。

以上简单地介绍了意识，以及意识的产生及对人类的影响。可以看出意识并不是智能活动必不可少的要素。在哺乳类动物没有诞生之前，很多生物并没有“我”的概念，并不会产生意识。但那时世间万物已经在不断地演化，而在这样的演化过程中也处处体现了它们对自然世界的自适应性与自组织性，我们前文提及的所有智能活动几乎也在各种没有意识的动物（植物）身上有所体现，也就是说没有意识并不妨碍智能活动的展开。虽然从人类历史来看，意识的产生对智能的快速提升有极大的帮助，但与此同时产生的自我性（私心），也使得人性从根本上具有排他性。这也是我们目前的世界纷争不断，乃至产生大量杀戮的根本原因。这一些就我们人类而言，已经是无法回避和改变的现实了。但对于机器智能而言，至少目前是应该极力避免的。

也就是说，当机器智能有了“自我意识”就必然地会维护它的“自我性”，也就会产生排他性，此时非它族类的人类就会面临机器智能的终极挑战。所以为了规避这样的挑战，无论如何将“私”包装得多么美妙、我们人类的好奇心有多大，我们都不应该将“私”的概念纳入机器智能研究的范围。虽然从长远来讲，机器智能可能也会在不断演化过程中，自我涌现出这样的概念，但至少目前我们在研究工作中还是应该遵循不涉及意识活动 -- 这一伦理边界。

篇外：
其实任何研究都是应该有伦理边界的，哪怕是被圣神化的科学研究。因为任何事物的极限都会超出人类能控制的范围，对于人类而言是具有毁灭性的。例如，任何一种物理化学属性发展到极致都可以成为杀人武器，对生物研究的极致就是制造病毒，医学研究的极致就是替换和改造人类，就会给人类生命安全、伦理秩序带来不可控的灾难，所以其他学科早早地就设定了各自领域研究的伦理边界。同理，应该呼吁在人工智能领域也应该有类似的研究伦理边界的设定，以免造成不可控的灾难发生。
?