目标1和2:增加MIRI

||米里策略

势头正在增强在人工智能安全工程领域。MIRI需要快速发展,如果它想保持在人工智能研究新范式的前沿。亚博体育官网为此,我们要开始我们的2015年夏季募款活动

我们没有指定一个单一的资助目标,而是决定在不同的资助水平上开展活动,让你们——我们的捐助者——来决定我们的发展速度。在这篇文章中,我将描述如果我们达到前两个筹款目标会发生什么:25万美元(“持续增长”)和50万美元(“加速增长”)。

持续增长

在过去的12个月里,MIRI的研究团队排得满满的——举办研讨会、参加会议亚博体育官网、访问行业人工智能团队、与外部研究人员合作以及招募人员。我们已经在两个AAAI会议和一个AGI会议上发表了论文,参加了FLI的波多黎各会议,写了四篇论文,在今年晚些时候被接受发表,完成了大约十篇技术报告,并公布了一些新的初步结果智能代理基金会论坛

这就是我们三人研究小组所能做到的。亚博体育官网MIRI的研究人员用一个两到三倍大的亚博体育官网团队能完成什么呢?

DSC_0010 (2)
MIRI研亚博体育官网究员Eliezer Yudkowsky和Benja Fallenstein讨论
反光的推理在七月的某一天研讨会

多亏了一些改变游戏规则的事情捐赠和资助Jessica Taylor将于8月1日加入我们的全职研究团队,9月1日我们将聘用另一名新研究员。亚博体育官网这将使我们的研究团队增加到5人,并留给我亚博体育官网们大约一年的时间来继续我们目前的所有活动。

为了进一步发展,特别是如果我们以我们想要的速度发展的话,我们将需要更多的资金。

我们今年夏天的活动旨在进一步扩大我们的研究团队。亚博体育官网的MIRI暑期研究员项目该项目是与应用理性中心(Center for Applied Rationality)合作设计的,旨在教授数学家和人工智能研究人员一些人工智能校准研究技能,目前正在进行中;亚博体育官网三周后,我们将举办六场夏季研讨会中的第五场旨在让更多人了解我们的研究议程。亚博体育官网

达到我们的第一个资助目标,25万美元,将使我们能够从我们的夏季研讨会和研究员项目中雇用最优秀的候选人。这笔钱可以让我们在不缩短跑道的情况下再雇佣1-3名研究人员,亚博体育官网使研究团队的总规模达到6-8人亚博体育官网

加速经济增长

不过,目前我们的团队只有8人,还没有接近我们的速度极限可以今年会增长,如果我们真的加速的话。这是人工智能联合领域的一个关键时刻,我们有一个难得的机会来帮助制定未来几十年人工智能安全工作的议程。我们的捐赠者往往雄心勃勃,所以值得问一问:

如果MIRI拥有它,我们能以多快的速度发展最大的筹款活动

如果我们在8月底之前达到25万美元的目标,那就该开始考虑了.我们的第二个筹资目标是50万美元,这将使我们能够更积极地招募员工,并将规模扩大到大约核心研究团队10人亚博体育官网.这大概是我们认为在短期内可以实现的增长我们招聘工作的大幅增加

10名研亚博体育官网究人员将极大地增强我们的能力,将我们的新结果完善为同行评议的出版物,参加会议和举办研讨会。但最重要的是,这将使我们有更多的时间投入基础研究。亚博体育官网我们已经发现了数十个有待解决的问题,这些问题似乎与将比人类更聪明的人工智能与正确的价值观相匹配的任务有关;我们希望通过一个更大的团队来解决这些问题很快

但在短期内以可持续的速度发展核心研究团队,亚博体育官网并不是我们能做的全部:事实上,还有许多其他项目在一旁等待。

由于MIRI的研亚博体育官网究人员长期以来一直在思考人工智能对齐的问题,我们有相当多的项目,我们打算在有必要的时间和资金的情况下进行。在50万美元的水平上,我们可以开始执行几个最优先的项目,而不转移我们的核心技术议程的注意力。

项目:类型理论中的类型理论。在现代定理证明中有许多工具缺失,而这些工具对于研究某些类型的自我参照推理是必要的。1有了资金,我们会雇佣一到两名类型理论家全职开发相关工具。

我们的类型理论项目将使我们能够研究程序在具体的环境下推理类似的程序——代码行,而不是白板上的等式。所开发的工具对于类型理论社区也非常有用,因为它们有许多短期的应用。(例如,用于构建模块化和高度安全的操作系统,其中验证器组件可以验证是否可以用一个更强大的验证器替换验证器。)亚博体育苹果app官方下载我们将从类型理论专家的输入中受益,我们将从工具中受益,我们也将从与更大的类型理论团体的增加接触中受益,当涉及到编写高可靠的计算机程序时,这是一个重要的团体。

项目名称:访问学者计划。如果有足够的资金,我们可以快速实施的另一个项目是访问学者计划。要增加我们与学术界的接触,一个肯定有效的方法是让感兴趣的教授来我们这里度暑假,我们给他们发暑假工资,和他们一起做我们感兴趣的项目。这些访问,加上一些来访的研究生或博士后每年夏天,可能很长的一段路要走学术社区获得更多的参与开放的问题,我们认为是最紧急的,同时也给我们机会输入的一些最有思想的现代人工智能领域。

这样的一个项目可以扩展为MIRI直接支持研究生和/或愿意花部分时间在人工智能校准研究的教授。亚博体育官网如果MIRI能够组建新的研究小组,专门研究解决人工智能对齐挑战的方法,而不是我们技术议程中描述的方法,那么这个项目也可以证明是有用的。亚博体育官网这些项目的延长将需要更多的时间和资金,但在50万美元的水平上,我们可以开始播下种子。

美里未来的形状

以上只是对我们在适当资金支持下可以开展的新活动的简要介绍。更详细的阐述即将到来,既关于我们现有项目的状态,也关于我们准备在有机会时执行的项目类型。请继续关注未来的帖子!

如果这些计划已经让你感到兴奋,那么你可以通过以下方式让它们成为现实为我们的夏季募捐活动做贡献.在人工智能校准领域还有很多工作要做,如果我们能尽早取得真正的进展,MIRI和更广泛的人工智能领域将会更好。未来的文章将不仅讨论我们想要扩展到的工作,还将讨论为什么我们认为这是该领域历史上一个特别关键的时期,以及为什么我们期待现在的付出会比以后的付出更有价值。

在此之前,再次感谢大家的支持——我们充满热情的捐赠者基础使我们能够在过去几年里取得如此大的发展,我们感到非常荣幸有这个机会来实现我们的支持者在MIRI中看到的潜力。


  1. 大致说来,是为了研究现代人的自我参照非独立类型在编程语言中,我们需要能够编写程序,能够操作和类型检查用相同语言编写的带引号的程序。这将是一个成熟的初始环境,在这个环境中,我们可以研究那些高度自信地进行自我推理的程序。然而,据我们所知,还没有人写过这种类型的书Agda尽管已经有了一些有希望的第一步。