关于美里
机器智能研究所是一个研究智能行为的数学基础的非营利亚博体育官网性研究机构。我们的任务是为通用人工智能系统的清晰设计和分析开发正式的工具，目的是使这些系统在开发时更安全、更可靠。亚博体育苹果app官方下载
人工智能领域有夸大其进展的名声。在上世纪70年代末和80年代的“人工智能冬季”，研究人员未能兑现雄心勃勃的承诺，导致了对人工智能的亚博体育官网资金和兴趣的崩溃。尽管这一领域正在经历复兴，过度自信仍然是一个主要的担忧;关于人类的一般智力的可能性的讨论在很大程度上仍被归入科幻小说的范畴。
与此同时，研究人员基本上一致认为，人亚博体育官网工智能可能开始在大多数认知任务上超越人类在这个世纪．考虑到人工智能可能带来的颠覆性，我们认为现在就开始讨论这个问题是明智的，并研究我们能否在有限的领域预测和塑造这项技术的社会影响。
亚博体育官网MIRI的研究人员倾向于相对不可知论者未来几十年，人工智能的发展水平将发生怎样的变化，以及比人类人工智能系统还要智能多少年。亚博体育苹果app官方下载然而，我们认为一些定性的预测是可能的:
-随着感知、推理和规划算法的改进，人工智能系统将在越来越复杂和长期的决策中得到信任。亚博体育苹果app官方下载小错误就会造成大后果。
-一般推理系统的现实目标和环境对于程序员来说过于复杂，无法直接指定。亚博体育苹果app官方下载人工智亚博体育苹果app官方下载能系统将需要归纳学习正确的目标和环境模型。
-系亚博体育苹果app官方下载统最终以其环境的不良模型而告终，这可能会造成重大危害。然而，糟糕的模型限制了规划系统控制其环境的能力，从而限制了预期的危害。亚博体育苹果app官方下载
-对于一个目标不明确的系统可能造成的伤害，没有多少明显的限制。亚博体育苹果app官方下载特别是一个自主学习的系统亚博体育苹果app官方下载关于人类的目标，但没有正确地将其自身的目标与人类目标的最佳模式相结合，如果没有足够的检查，可能会造成灾难性的伤害。
-人工智能亚博体育苹果app官方下载系统的目标或世界模型可能很脆弱，表现出异常良好的行为，直到一些看似无关的环境变量发生变化。与错误的信念和推理相比，错误的目标更值得关注，因为错误的目标并不会限制高智能系统的能力。亚博体育苹果app官方下载
斯图尔特·拉塞尔是MIRI研究顾问和亚博体育官网关于人工智能的领先教科书，在《人工智能的长远未来“我们应该把稳健性和安全性问题纳入主流能力研究:亚博体育官网
作为一个领域，我们的目标是做出更好的决策系统。亚博体育苹果app官方下载这就是问题所在。如果你要造一个超级智能的机器，你必须让它做你想让它做的事情。危险在于，你给的东西实际上不是你真正想要的——因为你不擅长表达你真正想要的东西，甚至不知道你真正想要的是什么——直到为时已晚，你发现你不喜欢它。
如果你只从优化问题的角度来考虑它:机器正在为你解决一个优化问题，而你忽略了一些你真正关心的变量。它是优化问题的本质,如果系统被操纵一些变量,不形成目标函数的一部分,所以它是免费玩那些希望——通常,为了优化应该是优化的,它亚博体育苹果app官方下载将设置其他的极端值。
我的建议是，我们应该停止人工智能的简单定义，即仅仅提高系统的决策能力。亚博体育苹果app官方下载对于土木工程，我们不叫它“建造不会倒塌的桥梁”——我们只叫它“建造桥梁”。我们当然不希望它们倒下。我们也应该以同样的方式思考人工智能:当然，人工智能系统的设计应该让它们的行为与人类的需求保持一致。亚博体育苹果app官方下载但这是一个尚未解决的难题，到目前为止还没有列入研究议程。亚博体育官网
我们想改变这个领域，让它感觉像土木工程或核聚变。我们制造了氢弹爆炸——无限的能量，超出了我们的使用能力。但这并不是一种有益于社会的形式。而现在这正是核聚变研究人员所做的——核聚变研究就是遏制亚博体育官网是．这就是他们要解决的问题。
与拉塞尔的讲话一致，MIRI的工作旨在帮助启动一个意识到该领域的长期影响的人工智能研究范式。亚博体育官网我们的方法就是把对齐问题分解成更简单更精确的子问题，发展基本的数学理论来理解这些问题，然后利用我们在工程应用程序。
了解更多资讯的资源
斯图尔特•阿姆斯特朗(Stuart Armstrong)对人工智能目标对齐问题的两篇简短而生动的非技术性介绍是最好的比我们聪明以及尼克·博斯特罗姆更深入的专著超智：
|
比我们聪明“人类掌控未来并不是因为我们最强大或最快，而是因为我们最聪明。当机器变得比人类更聪明时，我们将把方向盘交给它们。这些强大的机器将带来什么样的希望和危险?” |
|
超智“对工具上最优的计划和政策的智能搜索可以为任何目标服务。智力和动机在某种意义上是正交的:我们可以把它们想象成一个图中的两个轴，其中每个点代表一个逻辑上可能的人工代理。” “正交命题表明，我们不能轻率地假设，超级智能必然会与人类的智慧和智力发展具有任何刻板印象中的最终价值。” |
有关MIRI研究重点的更多技术细节，请参见:亚博体育官网
最后，一般信息:
