关于Miri.
机器智能研究所是一项研究非营利组织，研究了智能行为亚博体育官网的数学基础。我们的使命是为通用AI系统的清洁设计和分析开发正式的工具，意图使这些系统更安全，更可靠。亚博体育苹果app官方下载
AI领域的宗旨是为了超越进步。在20世纪70年代后期和20世纪80年代的“AI冬季”中，研究人员对雄心勃勃的承诺造成善意的失败导亚博体育官网致AI的资金和利益崩溃。虽然该领域正在进行复兴，但过度自信仍然是一个重大恐惧;讨论人类等同的一般情报的可能性仍然在基本上被降级到科幻架。
与此同时，研究人员在很大程度上同意A亚博体育官网I可能会在大多数认知任务中开始表现出人在本世纪。鉴于如何稳定性的域名，我们认为现在开始对话是谨慎的，并调查我们是否可以预测和塑造这项技术的社会影响的有限区域。
亚博体育官网Miri的研究人员往往相对不可知论者人工智能技术在未来几十年将会发生怎样的变化，还有多少年比人类的人工智能系统更聪明。亚博体育苹果app官方下载然而，我们认为一些定性的预测是可能的:
-随着感知、推理和规划算法的改进，人工智能系统将被信任，承担越来越复杂和长期的决策。亚博体育苹果app官方下载小错误会带来更大的后果。
- 对于一般推理系统的现实目标和环境对于程序员来说是太复杂的，即可直接指定。亚博体育苹果app官方下载AI系亚博体育苹果app官方下载统将需要感应地学习正确的目标和环境模型。
- 亚博体育苹果app官方下载最终与其环境模型不佳的系统可以做出重大危害。但是，差的模型限制了规划系统如何控制其环境，这限制了预期的伤害。亚博体育苹果app官方下载
没有明确目标的系统可能造成的伤害的明显限制较少。亚博体育苹果app官方下载特别是一个能够学习的自主系统亚博体育苹果app官方下载关于人体目标，但没有正确旨在使自己的目标与其最佳人体目标的目标保持一致，可能导致灾难性的危害在没有足够的检查中。
AI系统的亚博体育苹果app官方下载目标或世界模型可能很脆弱，表现出异常良好的行为，直到一些看似无关的环境变量发生变化。与错误的信念和推理相比，错误的目标更值得关注，因为错误的目标并不会限制高智商系统的能力。亚博体育苹果app官方下载
MIRI研究顾问和该研究的合著者Stuart 亚博体育官网Russell说人工智能方面的领先教科书，在“人工智能的长远未来“我们应该将稳健性和安全问题集成到主流能力研究中：亚博体育官网
我们作为一个领域的目标是做出更好的决策系统。亚博体育苹果app官方下载这就是问题。[......如果]你要建造一个超级菜机，你必须给它你想要的东西。The danger is that you give it something that isn’t actually what you really want — because you’re not very good at expressing what you really want, or even knowing what you really want — until it’s too late and you see that you don’t like it.
如果你只是从优化问题的角度来考虑:机器正在为你解决一个优化问题，而你却忽略了一些你真正关心的变量。它是优化问题的本质,如果系统被操纵一些变量,不形成目标函数的一部分,所以它是免费玩那些希望——通常,为了优化应该是优化的,它亚博体育苹果app官方下载将设置其他的极端值。
我的提议是，我们应该在简单的定义中停止做到才能提高系统的决策能力。亚博体育苹果app官方下载与土木工程有关，我们不称之为“建筑物桥不倒下” - 我们只是称之为“建筑桥梁”。当然，我们不希望他们跌倒。我们应该以同样的方式思考AI：当然应该设计AI系统，以便他们的行为与人类的行为一致。亚博体育苹果app官方下载但这是一个难以解决的未解决问题，这不是现在的研究议程。亚博体育官网
我们希望改变该领域，以便感受到土木工程或核融合等。[...我们]创造了氢炸弹爆炸 - 无限量的能量，比我们可能使用的更多。但这并不是一种社会有益的形式。现在它只是什么融合研究人员 - 遏制是什么融合研究亚博体育官网是。这就是他们努力的问题。
与Russell的演讲一致，MIRI的工作旨在帮助启动一个意识到该领域长期影响的人工智能研究范式。亚博体育官网我们的方法是将对准问题分解为更简单，更精确的子问题，开发基本的数学理论以了解这些问题，然后利用我们的新发现了解工程应用程序。
学习资源
AI目标对齐问题的两个最好的非技术介绍是Stuart Armstrong的短暂和热闹比我们聪明和尼克博斯特罗姆更深入的专着超明：
|
比我们聪明“人类不会引导未来，因为我们是最强烈的或最快的，而是因为我们是最聪明的。当机器比人类变得更聪明，我们将把它们递给方向盘。这些承诺和危险会将这些强大的机器存在？“ |
|
超明“智能搜索有乐意上的最佳计划和策略可以在任何目标的服务中进行。智力和动机是一个义目正交的：我们可以将它们视为跨越图形的两个轴，其中每个点代表逻辑上可能的人工剂。“ “他正交的论文表明我们不能简单地认为，过度理智必然会分享与人类的智慧和智力发展有关的任何最终价值观。 |
有关Miri的研究重点的更多技术细节，请参阅：亚博体育官网
最后，有关一般信息：
