罗素和诺维格友好的ai

AI：一种现代方法是迄今为止该领域的主导教科书。它用于1200所大学，目前是22最多计算机科学的出版。它的作者，斯图尔特罗素和Peter Norvig.，在第26.3节中向AI危险和友好的AI投入了大量空间，“开发人工智能的道德和风险”。

他们讨论的前5个风险是：

• 人们可能会失去自动化的工作。
• 人们可能有太多（或太少）的休闲时间。
• 人们可能会失去他们独特的感觉。
• AI系亚博体育苹果app官方下载统可能用于不合需要的末端。
• 使用AI系统可能会导致责任丧亚博体育苹果app官方下载失。

每个部分中的每一个都是一两个段落。最后一个小节，“AI的成功可能意味着人类的结束，”给出3.5页面。这是一球片段：

问题是AI系统是否与传统软件更大的风险。亚博体育苹果app官方下载我们将看看三个风险来源。首先，AI系统的状态估计可能亚博体育苹果app官方下载不正确，导致它做错事。例如......导弹防御系统可能会错误地检测到攻击并发射反击，亚博体育苹果app官方下载导致数十亿的死亡......

其次，为AI系统指定合适的实用程序函数最大化并不是那么容易。亚博体育苹果app官方下载例如，我们可能会提出一个旨在最大限度地减少人类痛苦的实用功能，表达为随着时间的推移，作为一种添加剂奖励功能......鉴于人类所在的方式，我们将永远找到甚至在天堂中遭受遭受的方法;因此，AI系统的最佳决定是尽快终止人类 - 没有人类，没有痛苦....亚博体育苹果app官方下载..

第三，AI系统的学习功能可能亚博体育苹果app官方下载导致它以非预期行为发展到系统中。这种情况是最严重的，而且对于AI系统而言是独一无二的，所以我们将在更深处覆盖它。亚博体育苹果app官方下载I.J.好写道（1965年），

让超细管被定义为一个机器，可以远远超过任何人的所有智力活动的机器。由于机器设计是这些知识产权之一，超细机器可以设计更好的机器;然后，毫无疑问地是一个“情报爆炸”，而且人的智慧将被遗忘。因此，第一个超细机是人需要制造的最后一个发明，只要机器是可维护的，足以告诉我们如何将其保持在控制下。

在回到一个关于AI的更加关心的语气之前，Russell和Norvig然后提到Moravec和Kurzweil的着作。他们涵盖了Asimov的三个机器人法律，然后：

Yudkowsky（2008）有关如何设计友好AI的详细信息。他断言友好（不伤害人类的愿望）应该从一开始就设计，但设计人员应该认识到他们自己的设计可能有缺陷，并且机器人将随着时间的推移学习和发展。因此，挑战是机构设计之一 - 定义用于在检查和余额的系统下改进AI系统的机制，并给出在面对这种改变的情况下保持友好的系统实用程序功能。亚博体育苹果app官方下载我们不能只提供一个静态实用功能，因为情况，以及我们所需的情况，随着时间的推移而变化。例如，如果技术使我们能够在1800年设计一个超强强大的AI代理并赋予它的普遍的道德，它今天会战斗，以重建奴隶制，废除女性的投票权。On the other hand, if we build an AI agent today and tell it how to evolve its utility function, how can we assure that it won’t read that “Humans think it is moral to kill annoying insects, in part because insect brains are so primitive. But human brains are primitive compared to my powers, so it must be moral for me to kill humans.”

Omohundro（2008）假设即使是无害的国际象棋计划也可能对社会带来风险。同样，Marvin Minsky曾经建议旨在解决riemann假设的AI计划可能最终接管所有资源，以建立更强大的超级计算机，以帮助实现其目标。道德是，即使您只希望您的程序播放国际象棋或证明定理，如果您提供学习和改变本身的能力，您需要保障措施。

我们很高兴看到Miri的工作获得了这样的主流学术曝光。

读者也可能有兴趣了解Russell在AI影响的影响下组织了一个小组IJCAI-13.会议。Russell自己的幻灯片来自该面板这里。其他小组参与者是Henry Kautz（幻灯片），乔安娜布里尼森（幻灯片），Anders Sandberg（幻灯片）和Sebastian Thrun（幻灯片）。