关于美里


机器智能研究所是一个研究智能行为的数学基础的非营利亚博体育官网性研究机构。我们的任务是为通用人工智能系统的干净设计和分析开发正式的工具,目的是使这些系统在被开发时更安全、更可靠。亚博体育苹果app官方下载

人工智能领域一向以夸大其进展而闻名。在上世纪70年代末和80年代的“人工智能冬天”中,研究人员未能兑现雄心勃勃的承诺,导致对人工智能的亚博体育官网资金和兴趣崩溃。虽然该领域正在复兴,但过度自信仍是一大担忧;关于是否可能存在与人类相当的一般智力的讨论,在很大程度上仍被放到科幻小说的书架上。

与此同时,研究人员普遍认为,人工智能亚博体育官网可能会在大多数认知任务上开始超越人类在这个世纪。考虑到人工智能可能会对整个领域造成多大的破坏,我们认为现在就开始讨论这个问题是谨慎的,并调查是否有一些有限的领域我们可以预测和塑造这项技术的社会影响。

亚博体育官网MIRI的研究人员往往相对而言不可知论者关于人工智能技术在未来几十年将如何改变,以及要比人类人工智能系统聪明多少年。亚博体育苹果app官方下载然而,我们认为一些定性的预测是可能的:


    -随着感知、推理和规划算法的改进,人工智能系统将在越来越复杂和长期的决策中获得信任。亚博体育苹果app官方下载小错误会带来更大的后果。
    -现实的目标和环境的一般推理系统将过于复杂,程序员不能直接指定。亚博体育苹果app官方下载人工智亚博体育苹果app官方下载能系统将需要归纳学习正确的目标和环境模型。
    -最亚博体育苹果app官方下载终环境模型不完善的系统可能造成重大损害。然而,糟糕的模型限制了规划系统控制其环境的良好程度,从而限制了预期的危害。亚博体育苹果app官方下载
    -对于目标不明确的系统可能造成的损害,没有多少明显的限制。亚博体育苹果app官方下载特别是一个自主学习的系统亚博体育苹果app官方下载关于人的目标,但是没有被正确地设计成使自己的目标与人的目标的最佳模型相一致,在缺乏足够的检查的情况下,可能会造成灾难性的伤害。
    -人工智能亚博体育苹果app官方下载系统的目标或世界模型可能是脆弱的,表现出异常良好的行为,直到一些看似无关的环境变量发生变化。与错误的信念和推断相比,错误的目标更值得关注,因为错误的目标不会限制高智商系统的能力。亚博体育苹果app官方下载

MIRI的研究顾问和the亚博体育官网人工智能方面的领先教科书,在"人工智能的长远未来“我们应该将健壮性和安全性问题纳入主流性能研究:亚博体育官网


作为一个领域,我们的目标是建立更好的决策系统。亚博体育苹果app官方下载这就是问题所在。如果你要建造一台超级智能机器,你必须让它做你想让它做的事情。危险在于你给它的东西并不是你真正想要的——因为你不擅长表达你真正想要的东西,甚至不知道你真正想要的是什么——直到你发现你不喜欢它时为时已晚。

如果你只是从优化问题的角度来考虑机器是在为你解决一个优化问题,而你忽略了一些你真正关心的变量。它是优化问题的本质,如果系统被操纵一些变量,不形成目标函数的一部分,所以它是免费玩那些希望——通常,为了优化应该是优化的,它亚博体育苹果app官方下载将设置其他的极端值。

我的建议是,我们应该停止人工智能的简单定义,即提高系统的决策能力。亚博体育苹果app官方下载关于土木工程,我们不叫它“造不会倒的桥”,我们就叫它“造桥”。“我们当然不希望它们掉下来。我们也应该以同样的方式来思考人工智能:当然,人工智能系统的设计应该让它们的行为与人类的需求保持一致。亚博体育苹果app官方下载但这是一个难以解决的问题,目前还没有研究议程的一部分。亚博体育官网

我们想改变这个领域,让它感觉像土木工程或核聚变。[…我们]制造了氢弹爆炸-无限的能量,超过我们可能使用的。但它并不是一种有益于社会的形式。而现在这正是核聚变研究人员所做的——遏制核聚变研究亚博体育官网。这就是他们要解决的问题。


与罗素的谈话一致,MIRI的工作旨在帮助启动一个意识到该领域的长期影响的人工智能研究范式。亚博体育官网我们的方法是将对齐问题分解为更简单、表述更精确的子问题,发展理解这些问题的基本数学理论,然后利用我们在工程应用程序。




学习更多资源



关于AI目标对齐问题的两个最好的非技术介绍是Stuart Armstrong的简短而生动的比我们聪明以及尼克·博斯特罗姆更深入的专著超智:



SmarterThanUsCover

比我们聪明


“人类主宰未来,不是因为我们是最强壮或最快的,而是因为我们是最聪明的。”当机器变得比人类更聪明时,我们将把方向盘交给它们。这些强大的机器会带来什么希望和危险呢?”


superintelligence_cover

超智

“对有工具的最优计划和政策的智能搜索可以为任何目标服务。智力和动机在某种意义上是正交的:我们可以把它们看作是两个坐标轴,它们分别代表一个逻辑上可能的人工代理。”

“正交性理论表明,我们不能轻率地假设,超级智能必然具有与人类智慧和智力发展相关的任何最终价值。”


有关MIRI研究重点的更多技术细节,请参阅:亚博体育官网


最后,作为一般资料: