强大的规划者，而不是有感知能力的软件

在过去的几个月里，一些主要媒体一直在传播关于人工智能可能会自动获得感知能力并与我们为敌的担忧。许多人已经指出了这种观点的缺陷，其中包括颇有名气的人工智能科学家吴恩达(Andrew Ng):

从我们今天所做的工作中，我看不到任何现实的路径——这是令人惊奇的，创造了大量的价值——但我没有看到我们所编写的软件有任何走向邪恶的路径。

关于有知觉的机器，他继续说道:

计算机正变得越来越智能，这在自动驾驶汽车、语音识别系统或搜索引擎中都很有用。亚博体育苹果app官方下载这是情报。但是感觉和意识并不是大多数和我交谈过的人认为我们正在走向的东西。

我说，这些反对意见是正确的。我完全赞同Ng的观点——我认为我们所编写的软件很少会自发地“变坏”。

我确实认为，如果我们希望能够使用强大的AI系统来造福所有人，我们需要提前做一些重要的工作，但这并不是因为强大的AI系统可能获得一些“意识火花”，从而对我们不利。亚博体育苹果app官方下载我也不担心创造出一些像《火神》一样的机器去推断(使用冷冰冰的机制推理)终结人类是“合乎逻辑的”，我们在某种程度上是“不值得的”。提前做研究的理由并不是那么不可思议亚博体育官网。相反，我们只是还不知道如何给智能机器编程，让它们可靠地做好事情，而不会产生意想不到的后果。

问题不在于《终结者》．“迈达斯王。”迈达斯国王得到了他想要的东西——他碰过的每样东西都变成了金子。他的食物变成了金子，他的孩子也变成了金子，而他却孤独而饥饿地死去。

强大的智能软件系统就是:软件系统。亚博体育苹果app官方下载没有意识的火花会降临到足够强大的规划算法上，并给它们注入爱或恨的感觉。你只能得到你所编写的程序。¹

要构建一个强大的人工智能软件系统，你需要编写亚博体育苹果app官方下载一个以某种方式代表世界的程序根据感知和经验不断完善这个世界模型。您还需要编写强大的规划算法，使用这个世界模型来预测未来，并找到通向某些特定类型的未来的路径。

我们在MIRI的研究重点并不是像我亚博体育官网们一样思考或感觉的有知觉的机器。它的目的是为了提高我们编程软件系统的能力，使其能够执行引导特定类型的未来的计划。亚博体育苹果app官方下载

一台被编程来建立一个高度精确的世界模型并使用强大的规划算法的机器可能会产生非凡的效益。科学和技术创新已经对世界各地的生活质量产生了巨大的影响，如果我们能通过编程让机器变得像人类一样聪明——只有更快更好——我们就能做到自动化科技创新．当涉及到改善人类和动物福利的任务时，这将是一个游戏规则的改变者。

要构建具有这些优点的机器，第一个挑战是要以一种高度可靠的方式进行世界建模和规划:您需要确保它始终如一地追求它的目标，无论目标是什么。如果你能成功做到这一点，第二个挑战就是让目标变得安全和有用。

如果你建立一个强大的计划系统,旨在期货癌症的治愈,那么它很可能世界亚博体育苹果app官方下载模型代表所有以下事实:(a)的最快路径癌症治疗包括增殖机器人实验室的生物圈和绑架人类实验;(b)一旦你意识到这一点，你就会试图关闭它;(三)如果你关闭它，癌症治愈的时间会更长。然后系统亚博体育苹果app官方下载可能会执行一个计划，其中包括欺骗你，直到它能够抵抗，然后繁殖机器人实验室和绑架人类。事实上，这就是你要的。

我们可以避免这种结果，如果我们设法制造出能够按我们的意思而不是按我们说的去做的机器。这种行为不是免费的:你必须编程。

一个超人类的计划算法，加上一个非常好的世界模型，可以找到你从未想象过的解决方案。它可以利用你没有注意到的模式，找到你没有认识到的快捷方式。如果你遵循一个由超级智能搜索过程生成的计划，它可能会带来意想不到的灾难性后果。引用Stuart Russell教授的话领先的人工智能教科书)：

我们主要关注的不是令人毛骨悚然的突现意识，而是做出高质量决策的能力。在这里，质量指的是所采取行动的预期结果效用，而效用函数大概是由人类设计师指定的。现在我们有一个问题:

1.效用函数可能与人类的价值不完全一致，而人类的价值(充其量)是很难确定的。

2.任何有足够能力的智能系统都会更愿意确保自己的持续存在，并获取物理和计算资源亚博体育苹果app官方下载——不是为了它们自己，而是为了成功地完成分配给它的任务。

一个亚博体育苹果app官方下载优化有n个变量的函数的系统，其目标取决于大小为k

人类有一个很多还有一些小限制，类似于“哦，在你治疗癌症的时候不要绑架任何人”。用一种机器可读的格式，手工编写完整描述人类价值观和人类规范的程序，似乎是不可行的。如果我们希望由超人规划算法生成的计划能够尊重我们所有复杂的未说出口的约束和愿望，那么我们就需要开发新的工具来预测和控制通用自主代理的行为。这事没有退路。

许多人，当他们第一次遇到这个问题时，会有一个条件反射的反应，为什么这个问题并不像它看起来那么难。一个常见的一个是“如果一个强大的计划开始运行,我们可以拔掉它”——一个反对日益过时的云计算的时代,并没有完全如果系统能够访问互联网或其他网络,它可以复制到其他机器。亚博体育苹果app官方下载

另一个常见的问题是“为什么不建立一个系统?亚博体育苹果app官方下载输出一个计划而不是拥有它执行这个计划?但如果我们引导一个强大的计划程序来生成这样的计划(a)审查计划的人批准它(b)执行它导致癌症被治愈，那么这个计划很可能是一个看起来这很好，但它利用了核实程序中一些可预见的监督，并绑架了一些人。

或者你可以说，“我们只做一个能回答问题的系统怎么样?”亚博体育苹果app官方下载但是，你究竟如何引导一个超人般的计划程序去“回答问题”呢?您是否将它的程序输出文本，它预测将导致您在答案输出后按下“非常满意”按钮?因为在这种情况下，系统很可能输出的文本构成了一个特别亚博体育苹果app官方下载具有欺骗性的答案。或者，如果您添加了答案必须准确的约束条件，那么它可能会输出文本，使您在未来提出更简单的问题。

也许你会回答:“好吧，也许我会引导计划者转向其产出由这个聪明的指标来衡量的期货……”，现在你已经被吸引了。我们究竟如何才能建立强大的规划者来寻找有益的未来?看起来似乎可以建立一个系统，以某种方式了解用户的意图或价值观，并根据它们行亚博体育苹果app官方下载事，但实际上这样做并不是微不足道的。你必须绞尽脑汁来建立一个系统，在获取信息的同时不欺骗或操纵你的意图。亚博体育苹果app官方下载这不是免费的:雄心勃勃的、长期的软件项目最终仍然是软件项目，我们必须弄清楚如何实际编写所需的代码。

如果我们能弄清楚如何制造出符合我们利益的比人类更聪明的机器，其好处将是巨大的。比如菲尔·利宾(Evernote创始人)说在美国，人工智能可能是“宇宙有史以来最伟大的造福人类的力量之一”。到达那里是有可能的，但这需要一些工作。

1. 你可能会对一个人工智能系统进行编程，使其具有意识，这将使情况变亚博体育苹果app官方下载得非常复杂——因为这样系统本身就会成为一个道德上的病人，它的偏好将成为我们考虑的因素。然而，正如Ng所指出的，“意识”与“智力”并不相同。↩