惊人的一年

可以肯定地说，过去的一年超出了很多人的预期。

12个月前，尼克·博斯特罗姆超智刚刚出版。关于比人类更聪明的人工智能系统的长期问题，根本就不是关于人工智能的社会影响的主流讨论的一部分，全亚博体育苹果app官方下载职参与人工智能结盟挑战的人不到五人。

12个月后，我们生活在一个Elon Musk，比尔盖茨,山姆奥特曼容易引用超智作为我们应该问的关于AI作为一个领域的未来的问题的指南。盖茨研究人员亚博体育官网不那些关心先进人工智能系统的人现在需要解释他们的观点:亚博体育苹果app官方下载

我是在关注超级智能的阵营里。首先，机器将为我们做很多工作，而不是超级智能。如果我们处理得当，这应该是积极的。再过几十年，尽管情报已经强大到足以令人担忧。我同意埃隆·马斯克和其他一些人的观点，不明白为什么有些人不担心。

据我所知，转折点发生在2015年1月，当时Max Tegmark和新成立的生命未来研究所组织了一个“人工智能的未来在波多黎各圣胡安举行的一次会议上，将顶级人工智能学者、行业顶级研究小组以及研究长期人工智能风险的组织代表聚集在一起。亚博体育官网

波多黎各会议的气氛激动人心。我走下飞机，本想反驳超级智能机器带来严重风险的观点。相反，我很快就达成了一个共识，即前面还有许多挑战，并有共同的愿望，共同努力制定应对措施。

从那以后，这一步伐一直在加快。尼克·博斯特罗姆(Nick Bostrom)收到了埃隆·马斯克(Elon Musk)捐赠的150万美元，用于创办一家新公司人工智能战略研究中心亚博体育官网它将专注于强大的人工智能带来的地缘政治挑战。美里已经收到了FLI赠款30万美元直接继续其技术和战略研究项目，并参与了一些其他合作资助。亚博体育官网剑桥存在风险研究中心(Cambridge Centre for The Study of Existential Risk)就有收到了大量的拨款使它能够开始招聘。斯图尔特·拉塞尔和我最近访问了华盛顿特区参加小组讨论在一个领先的公共政策智库工作。我们目前正在与国家科学基金会讨论扩大他们的资助计划的可能性，以涵盖公开信中提出的一些问题。

人工智能领域也注意到了这一点。美国人工智能协会(AAAI)是人工智能领域领先的科学协会，它首次举办了关于安全与伦理的研讨会演讲在那里)，以及两个主要的机器学习会议——IJCAI和NIPS——将首次有专门讨论人工智能安全研究的会议或研讨会。亚博体育官网

数年后，我预计有些人会将波多黎各会议视为人工智能对齐领域的诞生地。从外界看来，2015年很可能是人工智能研究人员开始认真考虑我们与人工智能系统可能带来的好处之间的巨大障碍的一年。亚博体育官网亚博体育苹果app官方下载

然而，我们的长期支持者已经看到了让这最后几个月成为可能的工作。多亏了你们的长期支持，缓解生存风险的努力才达到了这个临界点。我们目前的势头有相当大一部分可以通过各种途径追溯到早期的交易所峰会或在博客以及一些早期研究和外联工作。亚博体育官网感谢你们在这些问题进入主流之前就开始讨论这些问题，感谢你们帮助我们走到今天。

在美里

与此同时，在MIRI，今年是忙碌的一年。

在波多黎各会议之后，我们一直在与许多不同的行业团体建立关系并继续对话，包括DeepMind，替代，和新形成的良好的人工智能团队．我们很高兴能与学术界进行更多的合作，通过一些正在进行的合作论文，通过FLI资助项目的两项合作资助，以及与不同的学者就我们研究项目的内容进行对话。亚博体育官网在过去的几周里，斯图尔特·拉塞尔和巴特·塞尔曼都成为了MIRI的官方研究顾问。亚博体育官网

我们在研究方面也一直在努力工作。亚博体育官网今年3月，我们聘请了Patrick LaVictoire作为研究人员。亚博体育官网我们参加了许多会议，包括AAAI的安全与伦理研讨会。我们度过了一段愉快的时光决策理论的会议在剑桥大学，我很高兴地将我们独特的决策理论(受我们对可运行项目的需求的启发)介绍给一些我尊敬和钦佩的学术决策理论家——我很高兴地说，我们的想法非常受欢迎。

最近几个月，我们已经开发了一些新的资源和成果，包括:

• 一系列概述性的论文描述了我们的技术议程为波多黎各会议作准备而写的;
• 许多工具对研究这些开放问题是有用的，可以在我们的网站上找到github库；
• 的理论反光甲骨文机器(与加州大学伯克利分校的Paul Christiano合作)，这是迈向更好的逻辑不确定性模型和更好的agent模型的有希望的一步，这些agent能够推断出与自己同等强大(或更强大)的其他agent;和
• 一种技术,在HOL定理证明中实现反射(与剑桥大学的Ramana Kumar合作):代码．

我们还推出了智能代理基础论坛为发布和讨论部分结果提供一个场所，与致力于这些问题的更广泛的社区一起工作。

但这还不是全部。波多黎各会议之后，我们预期它将产生的势头，我们开始为增长作好准备。我们建立了一系列的6个夏季研讨会，向感兴趣的研究人员介绍人工智能对齐中的开放问题，我们与应用理性中心(Center for Appli亚博体育官网ed Rationality)合作创建了一个MIRI暑期实习生项目旨在帮助计算机科学家和数学家有效地为人工智能对齐研究做出贡献。亚博体育官网我们的暑期研修班已经进行了一周，我们已经举办了六个暑期研修班中的四个。

我们对这些项目的目标是放松我们的人才瓶颈，找到更多的人可以做miri风格的人工智能对齐研究，这已经取得了成效。亚博体育官网两名新的研究人员亚博体育官网已经签约，将在今年夏末开始在MIRI工作，我们很可能会从夏季研究员项目和夏季研讨会中获得一些新员工。

下一个步骤

我们现在发现自己处于一个非常有利的位置。上面列出的项目对于一个只有三个人的小型研究团队来说已经是很多了，而且随着我们研究团队的进一步发展，我们希望承亚博体育官网担更多的工作。当许多其他组织刚刚开始思考如何应对人工智能结盟的挑战时，MIRI已经有了大量的想法，我们已经准备好执行，只要我们得到人力和资金。

现在的问题是:我们的增长速度能有多快?我们已经有足够的资金再签约一名(或两名)研究人员，同时保留12个月的时间，而且如果有足够的资金，我们的发展亚博体育官网速度可能会更快。

明天，我们将正式启动我们的夏季募捐活动(尽管你现在可以在我们的yabo体育官网下载ios )．即将到来的文章将更详细地描述我们需要更多的资金,但现在我想弄清楚为什么我们如此兴奋状态的AI对齐的研究,以及为什么我们认为这是一个关键时刻在人工智能领域的历史。亚博体育官网

希望我们的明年能有去年一半的精彩!再次感谢大家，请继续关注明天的新闻。