五个论文，两个lemmas和几个战略意义

MIRI对自我改进的人工智能的主要担忧，并不是说它可能是由全球范围内的“坏”参与者而不是“好”参与者创造的;我们最关心的是如何补救这种情况根本没有人知道如何创建具有已知，稳定的首选项的自修改AI。（这就是为什么我们看到主要问题亚博体育官网 并鼓励他人进行相关研究，而不是试图阻止“坏”参与者创造人工智能。)亚博体育官网

这和许多其他基本的战略意见可以总结为5个关于AI的纯粹事实问题的结果，以及我们认为暗示的2个lemmas，如下：

情报爆炸论文．足够智能的AI将能够实现它可以在短时间内完成的东西实现大量的重新投资认知回报，例如改善自己的认知算法或购买/窃取大量服务器时间。智力爆炸将在它可以在短时间内耗尽的东西之前击中非常高的智力。看：Chalmers（2010）；米尔豪泽与萨拉蒙(2013)；Yudkowsky（2013）．

正交性的论文．Mind设计空间是巨大的，足以容纳具有几乎任何偏好集的主体，这些主体可以通过工具理性的方式实现这些偏好，并拥有强大的计算能力。例如，从理论上讲，思维设计空间包含了强大的、工具性理性的行动者，这些行动者会像预期的回形针最大化者那样行事，并总是根据结果选择能够带来最多预期回形针的选项。看：博斯特罗姆(2012)；阿姆斯特朗（2013）．

收敛工具目标论文．大多数实用程序函数将产生从最可能最终目标的乐器目标的子集。例如，如果您想建立一个充满快乐众生的星系，如果您想制作回形针，您需要的物质和能量，也是如此。本论文是为什么我们担心非常强大的实体，即使他们没有明确的不喜欢我们：“AI不爱你，也不讨厌你，但你是由原子制成的，它可以用于别的东西。”虽然通过正交性论文，您可以始终拥有一个明确的代理人，终端更喜欢不做任何特定的事情 - 这是一个爱你的AI，你不会想打破备用原子。看：Omohundro (2008)；博斯特罗姆(2012)．

价值命题的复杂性．它需要大块的kolmogorov复杂性，以描述甚至是理想化的人类偏好。也就是说，即使在我们采取反思均衡的极限（判断您自己的思想过程）和其他标准规范理论之后，我们应该'应该做的是一个计算复杂的数学对象。随机生成的实用程序功能的过度明智不会做任何与银河有价值的东西，因为它不太可能意外地击中了对众生文明的最终偏好，这是一个引领有趣的生命。看：Yudkowsky (2011)；Muehlhauser＆Helm（2013）．

价值论文的脆弱性．获得一个目标系统90％右不给你亚博体育苹果app官方下载90％的价值，任何一位在10位数字中的正确拨打9个数字将使您连接到90％的人，类似于Eliezer Yudkowsky的90％。有多个维度，消除了价值的维度将消除几乎将来的所有价值。例如，分享几乎所有人类值的外星物种，除了它们的“无聊”的参数设置要低得多，可能会投入到重播单一的峰值，以略微不同的像素颜色重放单一的峰值，最佳的经验（或者等同物）。友好的AI更像是令人满意的门槛，而不是我们试图连续10％的改进。查看：Yudkowsky（2009那2011）。

这五个论题似乎暗示了两个重要的引理:

间接正规性．编程自我改善的机器智能来实现抓住的东西 - 似乎类似的事情会导致一个糟糕的结果，无论苹果派和母性如何响起。例如，如果你给予AI最终目标“让人们幸福”它就会让人们的快乐中心达到最大程度。“Indirectly normative” is Bostrom’s term for an AI that calculates the ‘right’ thing to do via, e.g., looking at human beings and modeling their decision processes and idealizing those decision processes (e.g. what you would-want if you knew everything the AI knew and understood your own decision processes, reflective equilibria, ideal advisior theories, and so on), rather than being told a direct set of ‘good ideas’ by the programmers. Indirect normativity is how you deal with Complexity and Fragility. If you can succeed at indirect normativity, then small variances in essentially good intentions may not matter much — that is, if two different projects do indirect normativity correctly, but one project has 20% nicer and kinder researchers, we could still hope that the end results would be of around equal expected value. See:Muehlhauser＆Helm（2013）．

巨大的额外困难的友好．你可以创造一个友好的AI(基于正交命题)，但你需要大量工作和智慧去创造正确的目标系统。亚博体育苹果app官方下载也许更重要的是，剩下的AI需要满足更高的清洁标准，以便目标系统通过10亿个连续的自我修改保持不变。亚博体育苹果app官方下载任何足够聪明的AI做清洁self-modification会这样做无论如何,但问题是,智能爆炸可能会开始使用智能AIs大大低于——例如,使用遗传算法与AIs重写自己或其他类似意味着不保留一组结果主义的偏好。在这种情况下，创造一个友好的AI可能意味着我们的AI在自我修改方面必须比能够经历智能爆炸的最小AI更聪明。看：Yudkowsky（2008）和Yudkowsky（2013）．

这些lemmas反过来有两个主要的战略意义：

1. 我们有很多工作要做，如间接规范和稳定的自我改善。在这个阶段，这项工作很多看起来真正的基础 - 也就是说，我们无法描述如何使用无限计算电源来做这些东西，更不用说有限的计算能力。我们应该尽早开始这项工作，因为基础研究往往需要很多时间。亚博体育官网
2. 需要有一个友好的人工智能项目某种刺激了竞争项目,不辜负一个(非常)友好AI的高标准的工作——一个项目,可以成功地构建一个stable-goal-system完善的人工智能,之前less-well-funded项目一起黑客更更慢地自我完善的人工智能。亚博体育苹果app官方下载在这一点上，大型超级计算机的重要性可能不如能够把最聪明的研究人员聚集在一起(见上文提出的开放式问题)亚博体育官网Yudkowsky 2013)，但所要求的优势不能靠运气。放任自流意味着，那些对自我修改不那么谨慎的项目，其优势可能比随意的利他主义更大。