这篇文章是马洛的后续2015年评审，概述了我们2016-2017年的新计划。简单地说，我们的首要任务(按重要性递减排列)是:(1)在我们已经确定的研究问题上取得技术进步，(2)扩大我们的团队，以及(3)与更广泛的研究团体建立更牢固的联系。亚博体育官网
如在以前的博文，我们的研究计划最大的更新是我们将在2014年研究议程（亚博体育官网“）之间拆迁我们的时间代理基础“议程)和由杰西卡·泰勒领导的面向机器学亚博体育官网习工作的新研究议程:”高级机器学习系统对齐亚博体育苹果app官方下载．”
三个额外的新闻：
1.我很高兴地宣布MIRI得到了一位新的主要捐赠者的支持:企业家兼计算生物学家Blake Borgeson，他向MIRI捐赠了30万美元。这是MIRI历史上收到的第二大捐赠，仅次于杰德·麦卡莱布的捐赠2013年cryptocurrency捐赠．因此，我们能够以更快，信心和灵活性更快地执行我们的增长计划。
2.今年，我们不再分别举办夏季和冬季筹款活动，而是将它们合并为一个更有雄心的筹款活动，将于9月举行。
3.我也很高兴地宣布，Abram Demski已经接受MIRI研究员的职位。亚博体育官网此外，Ryan Carey已经接受了一个助理研究员的职位，我们也雇佣了一些新的行政人员。亚博体育官网
我将在下面提供更多关于这些和其他新发展的细节。
优先1：在公开技术问题上取得进展
自2013年以来，MIRI的主要目标是在人工智能校准方面取得技术进步。我们几乎所有的其他活动，无论是在MIRI还是在其他机构，都直接或间接地旨在产生更高质量的对齐研究。亚博体育官网
如上所述，Jessica Taylor目前正在领导一个“高级机器学习系统对齐”项目，该项目将占据我们未来一半的研究工作。亚博体育官网亚博体育苹果app官方下载我们的目标是将开发正式的模型和理论工具，我们预测这些模型和理论工具将有助于高能力人工智能系统的对齐，前提是这些系统将在质量上与当今的机器学习系统相似。亚博体育苹果app官方下载我们的研亚博体育官网究交流经理罗伯·本辛格总结了我们的新工作的主题及其与其他人工智能安全研究建议的关系。亚博体育官网
今年早些时候，我简要总结了2015年我们的研究议程上取得了多少技术进步(由Malo在我们的亚博体育官网2015年评审），相对于我的期望。简而言之，我预计所有研究领域的谦虚进展除外亚博体育官网价值规范(这在2015年是我们的低优先级)。我们在一些问题上取得的进展比预期的快，在另一些问题上比预期的慢。
在归化感应和逻辑的不确定性，我们超越了我的期望，取得了很大的进步。在错误宽容，我们没有达到我的期望，只取得了有限的进展。在我们的其他研究领域，我们亚博体育官网取得了和我预期的一样多的进展:在决策理论和Vingean反射，在价值规范方面进展有限。
今年早些时候，我还对我们到2016年底将取得的进展进行了个人预测:在决策理论、容错能力和价值规范方面略有进展;Vingean反思的有限进展;在逻辑不确定性和归化归纳方面也取得了长足的进步。(从2017年开始，我将在年初公开做出预测。)
把这些分解:
- Vingean反射对我们来说是不那么重要的。这在一定程度上是因为，在逻辑不确定性或决策理论方面，缺乏额外的进展，我们不太相信还有其他容易摘到的果子可以摘。虽然我们已经通过Benya Fallenstein, Ramana Kumar和Jack Gallagher了解了许多执行障碍HOL-in-HOL项目，自Benya开发了模型多态性以来，我们还没有在这一领域看到任何重大的理论突破在2012年末．Benya和Kaya Fallenstein仍在偶尔研究这个话题。
- 相比之下，我们继续在基本理论方面取得稳步增长逻辑的不确定性，归化感应,决策理论在过去的几年里。Benya、Kaya、Abram、Scott Garrabrant、Vanessa Kosoy和Tsvi Benson-Tilsen将在接下来的几个月里专注于这些领域，我希望在2016年看到与2015年同样重要的进展。
- 我们的机器学习议程主要集中在错误宽容和价值规范，使这些成为我们今年的优先事项。我希望看到Jessica Taylor、Patrick LaVictoire、Andrew Critch、Stuart Armstrong和Ryan Carey在这些问题上的工作取得一定的进展。考虑到这个项目是如此的新，很难说是否会有重大突破。
Eliezer Yudkowsky和我将把我们的时间分配在研究这些问题和做说明性写作之间。以利以谢写的是对齐理论，而我写的是MIRI策略和预测问题。
2016年上半年，我们花费了大量的时间来撰写现有的研究成果和研究计划，并与其他研究人员进行协调(比如通过我们访问富士国际和我们的亚博体育官网坚固且有益的AI上的Colloquium系列），我们在未来几周内有更多的写作。我们设法得到公平的研究,我们将宣布一项相当大的新的逻辑不确定性结亚博体育官网果一旦上述写作完成,但我们期待几个月不间断的研究时间结束的时候,我很兴奋地看到是什么。
重点2:扩大我们的团队
发展MIRI的研究团队是当务之亚博体育官网急。我们还在扩大我们的管理团队，目标是腾出更多的时间，更好地定位MIRI，以积极影响蓬勃发展的人工智能风险对话。
在过去的一年中，他作为研究助理对我们的研究做出了重大贡献(例如:亚博体育官网归纳的一致性”,结构性风险缓解)和参与我们的CSRBAI和MIRI夏季研究员计划，Abram Demski签署了加入我们的核心研究团队。亚博体育官网艾布拉姆计划于2016年底或2017年初加入2016年底，在南加州大学完成计算机科学博士后。MihályBárász还在将来的日期加入我们的核心研究团队，我们正在考虑一些其他有希望的研亚博体育官网究奖学金候选人。
近期，数据科学家瑞安·凯里(Ryan Carey)一直在与我们的机器学习议程合作，并将于9月加入我们，担任助理研究员。亚博体育官网
我们最近还聘请了一位新的办公室经理，Aaron Silverbook，和一位通信和发展管理员，Colm Ó Riain。
我们有一个空缺类型理论家工作AD，而且更普遍地在寻找亚博体育官网科研人员有很强的数学直觉，并具有形式化和解决困难问题的天赋，或充实和撰写成果发表。
我们还在寻找沟通和外联专家(例如，具有很强写作技能的计算机程序员)，以帮助我们跟上公众和学术界有关人工智能风险的活跃讨论。如果你有兴趣，请发送résumé和非小说写作样本到抢劫．
优先事项3:与其他研究人员合作和交流亚博体育官网
2016年有很多新迹象表明人工智能将成为(相对)主流:
- Stuart Russell和他的学生最近的研究值的学习和可订正（包括联合资助项目与美里);
- 积极的反应埃里克•施密特和新闻DeepMind和人类未来研究所谷歌的合作可订正(部分由MIRI支持);
- 新的“人工智能安全的具体问题“宣亚博体育官网布的研究提案谷歌研究亚博体育官网和OpenAI(还有开放慈善项目有兴趣资助此类研究的声明亚博体育官网)；
- 还有其他较小的开发项目。
MIRI的目标是确保AI对齐问题得到解决，无论是MIRI解决它还是其他一些组。因此，我们对指向对齐问题的新注意力的涌入感到兴奋，并将此视为培育该领域的重要时刻。
随着人工智能安全研究变得越亚博体育官网来越主流，我们可以与之对话的研究人员也越来越多。与此同时，我们自己解决问题的方法——特别关注最长期的、高风险的、不被理解的问题部分，以及问题所在的部分与学术和行业激励最不一致——仍然是不寻常的。如果没有MIRI，我认为这部分对话将几乎完全被忽略。
帮助促进我们的方法为了发展这个领域，我们打算举办更多针对不同学术群体的研讨会。我们将在不久的将来举办一个机器学习研讨会，并可能举办更多类似CSRBAI的活动。我们也有一堆过去的技术成果要写，我们希望这些成果对于在计算机科学、经济学、数理逻辑、决策理论和其他领域吸引更多的研究人员是有价值的。亚博体育官网
我们特别感兴趣的是找到方法同时达到优先级1和3，追求重要的研究方向，这也有助于我们与更广泛的学术界建立更牢固的联系。亚博体育官网我们的新研究议程的几个原因之一是它有可能鼓励ML社区进行更多的联合工作亚博体育官网。
简而言之:在中期，我们的研究计划将更关注错误容错性和价值规范研究，更强调ml启亚博体育官网发的人工智能方法，我们正在增加我们的研究团队的规模，以追求这一目标。
Rob、Malo和我将在9月份开始2016年的筹款活动时，更多地谈论我们的资金状况和组织战略。作为这一系列文章的一部分，我还将写更多关于我们当前的战略如何与我们的长期目标和优先事项相适应的文章。
最后，如果你参加了有效的利他主义全球这个周末，请注意我们将举办两个研讨会(一个杰西卡的新项目另一个关于上述新的逻辑不确定性结果)，以及一些办公时间(两者与亚博体育官网研究小组和我们在一起管理团队)．如果你在那里，请随时过来打个招呼，并询问更多关于我们的事情。
