将机器智能与人类利益对齐的代理基础

技术研究议程亚博体育官网


机器智能研究所的任务是确保创造比人类更聪明的机器智能产生积极的影响。亚博体育官网尽管这样的系统可能需要几十年亚博体育苹果app官方下载的时间,但尽早开始调查是谨慎的:安全和可靠性工作所涉及的技术挑战似乎是艰巨的,而且具有独特的影响。

我们的技术议程讨论了六个研究领域,我们认为今天的基础研究可以在未来更容亚博体育官网易地开发出符合人类利益的超级智能系统。亚博体育苹果app官方下载以来对这种系统的设计或实现细节,下面描述的研究侧重于为AI对齐正式代理基础研究,开发基本概念工具和理论,最有可能是有用的工程在未来强劲有益的系统。亚博体育苹果app官方下载亚博体育官网

我们的议程概述论文由六篇论文支撑,依次推动每个主题。文中讨论了许多易于处理的开放问题,我们希望这些问题可以作为研究人员在AI校准方面做早期工作的指南。亚博体育官网包裹以一个注释的书目结尾,其中总结了每个领域最近的研究(截至2015年1月)。亚博体育官网


将机器智能与人类利益对齐的代理基础
Nate Soares和Benja Fallenstein (2014)


形式化现实世界模型的两个问题
内特·苏亚雷斯(2015)
趋向于理想化的决策理论
Nate Soares和Benja Fallenstein (2015)
逻辑不确定性下的推理问题
Nate Soares和Benja Fallenstein (2015)
Vingean反思:自我修改代理的可靠推理
Benja Fallenstein和Nate Soares (2015)
可订正
Nate Soares, Benja Fallenstein, Eliezer Yudkowsky和Stuart Armstrong (2015)
价值学习问题
内特·苏亚雷斯(2015)

将超级智能与人类利益结合起来:
一个带注释的书目

内特·苏亚雷斯(2015)