米里常见问题解答

1.MIRI的使命是什么?

我们的使命宣言是“确保创造比人类更智能的人工智能产生积极的影响。”这是一个雄心勃勃的目标，但我们相信有一些早期的进步是有可能的，我们相信，目标的重要性和难度使尽早开始工作是明智的。

我们的两个研究议亚博体育官网程，”机器智能与人类兴趣对齐的代理基础”和“高级机器学习系统的值对齐亚博体育苹果app官方下载，“重点关注三组技术问题:

• 高度可靠的代理设计-学习如何指定高度自治的系统，可靠地追求某些固定的目标;亚博体育苹果app官方下载
• 价值规范-为自主系统提供预定目标;亚博体育苹果app官方下载和
• 错误宽容-使这样的系统对程序员的错误亚博体育苹果app官方下载健壮。

我们发布新亚博体育官网 、主机亚博体育官网 ，参加会议，和基金以外的人员亚博体育官网有兴趣研究这些问题的人。我们还会举办yabo体育官网 和一个在线亚博体育官网研究论坛．

2.为什么认为人工智能可以超越人类?

在许多具体任务上，机器已经比人类更聪明了:计算、下棋、搜索大型数据库、探测水下水雷等等。¹然而，人类智能在总体上继续主导机器智能。

一台强大的国际象棋计算机是“狭义的”:它不能玩其他游戏。相比之下，人类有解决问题的能力，使我们能够适应新的环境，并在许多领域比祖先环境为我们准备的更好。

在没有“智力”的正式定义(因此“人工智能”)时，我们可以启发式地引用人类的感知、推理和思考能力(与之相对的是我们的体力或敏捷性)，并说智力是“诸如此类的东西”。根据这个概念，智力是一系列不同的能力——尽管包括我们的科学能力在内的非常重要的能力。

我们的认知能力源于我们大脑中的高级模式，这些模式可以在硅和碳中实例化。这告诉我们一般的AI是可能的，尽管它并没有告诉我们它有多困难。如果智能足够难以理解，那么我们可以通过扫描和模拟人类大脑，或者通过一些试错过程(比如进化)来实现机器智能，而不是通过手工编写一个软件代理。

如果机器能在认知任务上达到人类的水平，那么它们很可能最终会超过人类。缺乏远见和规划的生物进化，几乎没有理由指望它能找到一般智能的最佳算法(就像它能找到鸟类的最佳飞行机器一样)。除了质量改进尼克·博斯特罗姆指出我们可以在数字思维中实现更直接的优势,例如:

• 可-“在软件中使用参数变化比在神经湿件中更容易进行实验。”²
• 速度-“光的速度比神经传输的速度快一百万倍，突触尖峰释放的热量比热力学需要的热量多一百万倍，当前晶体管的频率比神经元尖峰频率快一百万倍。”
• 连续的深度在较短的时间尺度上，机器可以执行更长的顺序过程。
• 存储容量计算机似乎有更强的工作记忆和长期记忆。
• 大小电脑可以比人脑大得多。
• 可复制性-将软件复制到新的硬件上比生物复制要快得多，保真度也更高。

这些优势中的任何一个都可能让人工智能推理者比人类推理者有优势，或者让一组人工智能推理者比人类群体有优势。它们的结合表明，数字思维可能会比我们预期的更快、更果断地超越人类思维。

3.为什么安全对比人类更聪明的人工智能很重要?

当今的人工智能算法已经需要特殊的安全保障，当它们必须在没有人类监督的重要领域行动时，特别是当它们或它们的环境可能随着时间的推移而改变时:

要想从(自主系统)中获得这些好处，将依赖于开发全新的方法，通过验证和验证(V&亚博体育苹果app官方下载V)由高水平的(适应性)和自治而产生的近无限状态系统，从而实现“对自主的信任”。实际上，这些系统可能呈现的输入状态的数量是如此之多，以至于不仅无法直接测试所有的状态，甚至无法测试其中很小的一部分亚博体育苹果app官方下载状态。这样的系统的开发从本质上来说是无法用今天亚博体育苹果app官方下载的方法验证的，结果是它们在所有微不足道的应用程序中的运行都是无法验证的。

开发具有高级别自治的系统是可能的，但是由于缺乏合适的亚博体育苹果app官方下载V&V方法，除了相对较低级别的自治之外，其他所有的自治都无法被认证为可使用的。^3.

随着人工智能能力的提高，赋予人工智能系统更大的自主性、灵活性和控制性将变得更加容易;亚博体育苹果app官方下载而且将会有越来越大的动机去利用这些新的可能性。特别是，人工智能系统变得更加通用的潜力将使亚博体育苹果app官方下载其难以建立安全保障:测试期间的可靠规律可能并不总是在测试后保持不变。

人类福祉中最大、最持久的变化来自科技创新，而科技创新又来自我们的智慧。因此，从长远来看，人工智能的重要意义在很大程度上来自于其实现自动化和促进科学技术进步的潜力。比人类更智能的人工智能的创造带来了智能发展本身在数字速度下的基本风险和好处。

随着人工智能代理人的能力越来越强，分析和验证他们的决定和目标就变得越来越重要(也越来越困难)。斯图亚特·罗素写：

我们主要关注的不是令人毛骨悚然的涌现意识，而是创造意识的能力高质量的决策．在这里，质量指的是所采取行动的预期结果效用，而效用函数大概是由人类设计师指定的。现在我们有一个问题:

1. 效用函数可能与人类的价值不完全一致，而人类的价值(充其量)是很难确定的。
2. 任何有足够能力的智能系统都会更愿意确保自己的持续存在，并获取物理和计算资源亚博体育苹果app官方下载——不是为了它们自己，而是为了成功地完成分配给它的任务。

一种亚博体育苹果app官方下载优化函数的系统n变量，其中目标取决于大小的子集k < n，通常会将剩余的无约束变量设为极值;如果其中一个无约束变量是我们真正关心的，那么找到的解决方案可能是非常不可取的。这本质上是一个古老的故事，关于灯中的精灵，或巫师的学徒，或迈达斯国王:你得到的正是你想要的，而不是你想要的。⁴

博斯特罗姆的“有超常智慧的将“更详细地展示了这两个问题:我们可能不正确地指定编程自己AI系统的实际目标,和大多数代理商优化misspecified目标将会激励治疗人类对抗,作为潜在的威胁或障碍实现代理的目标。亚博体育苹果app官方下载

如果人类和人工智能的目标不能很好地协调一致，知识和技术能力更强的人工智能可能会使用武力来获得它想要的东西，就像在人类社区之间的许多冲突中发生的那样。提前注意到这类问题后，我们有机会通过将研究导向将人为决策者的利益与我们自己的利益相一致来降低这种默认情况下的风险。亚博体育官网

4.研究人亚博体育官网员认为人工智能即将到来吗?

2013年初，博斯特罗姆和Müller调查了微软学术搜索(Microsoft Academic Search)列出的100位人工智能领域被引用最多的在世作家。条件“没有全球性灾难停止进步,”29岁的专家回应平均10%概率分配给我们的开发机”,可以执行大多数人类职业至少还有一个典型的人类”到2023年,50%的概率,到2048年,到2080年90%的概率。⁵

MIRI的亚博体育官网大多数研究人员大致同意10%和50%的日期，但认为人工智能可能会明显晚于2080年。这与博斯特罗姆在超智：

我个人的观点是，专家调查中报告的中位数对于晚到日期没有足够的概率质量。到2075年甚至2100年(以“人类科学活动在没有重大负面干扰的情况下继续进行”为条件)，10%的可能性还没有开发出HLMI(人类水平的机器智能)似乎太低了。

从历史上看，人工智能研究人员在预测亚博体育官网自己领域的发展速度或这种发展的形式方面并没有很强的能力。一方面，一些任务，比如下国际象棋，被证明可以通过非常简单的程序实现;而那些声称机器“永远”不可能做到这一点或那一点的反对者，已经被一再证明是错误的。另一方面，实践者中更典型的错误是低估了使系统在实际任务中稳健地执行的困难，并高估了他们自己特定的项目或技术的优势。亚博体育苹果app官方下载

鉴于专家(和非专家)在预测人工智能进展方面的记录不佳，我们对于完全的人工智能何时会被发明相对来说是不可知的．它的到来可能早于预期，也可能晚于预期。

专家们还报告称，超智能将在2年内达到人类水平的平均置信区间为10%，在30年内达到人类水平的平均置信区间为75%。在这方面，MIRI研亚博体育官网究人员的观点与人工智能专家的中值观点存在显著差异;我们预计，一旦人工智能系统亚博体育苹果app官方下载接近人类水平，就会相对迅速地超越人类。

5.你正在处理哪些技术问题?

“让比人类更聪明的人工智能与人类的兴趣保持一致”是一个极其模糊的目标。为了有效地处理这个问题，我们试图将它分解成几个子问题。作为一个起点，我们要问:“这个问题的哪些方面是我们仍然无法解决的，即使这个问题简单得多?”

为了比人类更有效地实现现实世界的目标，一般的AI系统将需要能够随着时间的推移了解其环境，并在可能的建议或行动之间做出决定。亚博体育苹果app官方下载对齐问题的一个简化版本是，我们如何构建一个系统来学习它的环境，并且有一个非常粗糙的决策标准，比如“选择使世界上钻石的预期数量最大化的策略”。亚博体育苹果app官方下载

高度可靠的代理设计是技术上的挑战，正式指定一个软件系统，可以依赖它来追求一些预先选定的玩具目标。亚博体育苹果app官方下载这个空间中的一个子问题的例子是本体标识我们如何将“钻石最大化”的目标公式化，让一个完全自主的个体可能会在意想不到的环境中结束，并可能会构建意想不到的假设和策略?即使我们拥有无限的计算能力，我们也不知道如何解决这个问题。这表明我们不仅缺少实用的算法，而且还缺少理解问题的基本理论框架。

正式代理AIXI试图定义强化学习者的“最佳行为”。然而，如果我们的目标是改变外部世界的某些东西(而不仅仅是最大化预先指定的奖励数量)，那么我们对“良好行为”的定义就缺乏一个简单的aixi式的等式。为了让代理评估它的世界模型来计算钻石的数量，而不是拥有一个特权的奖励渠道，它的世界模型必须拥有什么一般的形式属性?如果系统以一种亚博体育苹果app官方下载程序员意想不到的方式更新了它的假设(例如，发现弦理论是真的而量子物理是假的)，那么它如何在新模型中识别“钻石”呢?这是一个非常基本的问题，但目前缺乏相关的理论。

我们可以区分高可靠的代理设计问题价值规范:“一旦我们理解了如何设计一个能够促进目标实现的自主人工智能系统，我们如何确保它的目标实际上符合我们的需求亚博体育苹果app官方下载?”由于人类的错误是不可避免的，我们将需要能够安全地监督和重新设计人工智能算法，即使它们在认知任务中接近人类的对等，MIRI也致力于形式化不变性代理的属性。人工智能:一种现代方法，人工智能的标准教科书，总结了挑战:

Yudkowsky[…]认为友好(一种不伤害人类的愿望)应该从一开始就被设计出来，但是设计师应该认识到他们自己的设计可能有缺陷，并且机器人会随着时间的推移而学习和进化。因此，机制设计面临的挑战之一是:设计一种机制，在一个制衡系统下进化AI，并赋予系统实用功能，使其在面对这些变化时保持友好。亚博体育苹果app官方下载⁶

我们的技术议程更详细地描述这些开放的问题，我们的yabo 收集在线资源以了解更多信息。

6.为什么要提早研究人工智能的安全性?

MIRI优先考虑早期安全工作，因为我们相信这样的工作重要的，对时间敏感的，易处理的,信息丰富的．

人工智能安全工作的重要性概述在第三季度,．我们认为这个问题具有时间敏感性，原因如下:

• neglectedness-目前只有少数人正在研究MIRI技术议程中列出的开放问题。
• 明显的困难-解决对齐问题可能需要大量的研究时间，并且可能比能力研究更难并行化。亚博体育官网
• 风险不对称——安全工作做得太晚比过早风险更大。
• AI时间不确定性-人工智能的发展速度可能比我们预期的要快，所以谨慎是明智的。
• 人工智能的不连续进步-随着我们逐渐接近普通人工智能，人工智能的进步可能会加快。这意味着，即使人工智能离我们还有几十年的时间，等待人工智能即将到来的明确迹象也是危险的:只有当安全工作开始时，才会出现明确的迹象。

我们还认为，今天在人工智能安全方面有可能做一些有用的工作，即使比人类的人工智能更聪明还要50年或100年。我们认为这有以下几个原因:

• 缺乏基础理论-如果我们对自治代理的正确行为有简单的理想化模型，但不知道如何设计实际的实现，这可能意味着需要更多的实际操作开发系统。亚博体育苹果app官方下载然而，我们缺少的是简单的模型。基本理论并不一定要求我们有软件系统实现细节的经验，同样的理论可以应用于许多不同的实现。亚博体育苹果app官方下载
• 先例在相对缺乏实际实现的情况下，理论计算机科学家已经多次成功地发展了基本理论。(著名的例子包括克劳德·香农、阿兰·图灵、安德烈·科尔莫戈罗夫和朱迪亚·珀尔。)
• 早期的研究结果-我们已经取得了重大进展，因为我们优先考虑了一些理论问题，特别是在决策理论和逻辑的不确定性．这表明，理论上还有一些唾手可得的果实有待采摘。

最后，我们希望人工智能安全理论的进展有助于我们更好地理解鲁棒人工智能系统、可用的技术选项和更广泛的战略前景。亚博体育苹果app官方下载特别是,我们希望透明对于可靠的行为是必要的我们认为，让自主人工智能系统对人类设计师和用户透明是有基本理论前提的。亚博体育苹果app官方下载

对于设计比人类更聪明的人工智能系统来说，掌握相关的理论可能并不是绝对必要的——高可靠的代理可能需要采用与最容易构建的、表现出不可靠行为的比人类更聪明的系统非常不同的架构或认知算法。亚博体育苹果app官方下载因此，一些相当普遍的理论问题可能与人工智能安全工作比主线人工智能能力工作更相关。因此，人工智能安全工作的信息性的主要优势包括:

• 信息的一般价值-让人工智能安全问题更清晰、更精确，可能会让人们了解什么样的正式工具可以帮助解决这些问题。因此，我们不太可能把时间花在完全错误的研究方向上。亚博体育官网研究这一领域的技术问题也可以帮助我们更好地理解人工智能问题的难度，以及人工智能对齐问题的难度。
• 信息测试的要求-如果系统不透明，亚博体育苹果app官方下载那么在线测试可能无法提供我们设计更安全系统所需的大部分信息。人类是不透明的一般推理者，研究大脑在设计更有效的人工智能算法方面非常有用，但在构建验证和验证系统方面就没那么有用了。亚博体育苹果app官方下载
• 安全测试要求-从一个不透明的系统中提取信息可能并不安全，因为我们构建的任何沙盒都可能存在缺陷亚博体育苹果app官方下载，这些缺陷对于超级智能来说是显而易见的，但对于人类来说却不是。

7.如何捐款?

MIRI是一个非盈利亚博体育官网研究机构，主要由中小捐赠者资助。捐款因此，有助于资助我们的数学工作、研讨会、学术推广等。

对于有兴趣了解我们研究重点并可能与我们合作的人，我们的亚博体育官网亚博体育苹果app官方下载 有一个申请表以及一些定期更新的在线资源。

作者:Rob Bensinger。最后更新于2016年9月18日。