来自公开慈善项目的拨款公告

||消息

今天的主要公告:开放慈善项目在即将到来的一年中授予MIRI $ 500,000,以研究我们的问题代理基金会机器学习亚博体育官网研究议程,明年有更新的机会。这代表Miri迄今为止最大的拨款,以及我们的第二大单一贡献。

来自300,000美元的高跟鞋捐款由Blake Borgergeson,这种支持将帮助我们继续我们在我们概述的增长轨迹上夏天冬天筹款者去年,并影响了研究团队的另一个翻倍。亚博体育官网这些增长计划承担去年我们筹款成功的其他捐助者的持续支持;我们将在2016年筹款司机更详细地讨论我们的剩余资金差距,我们将于本月晚些时候开始。


公开慈善项目是由慈善基金会良好企业和慈善评估员赠送的工作人员的联合倡议。公开菲尔最近使其优先确定研究人员解决的机会亚博体育官网高级AI的潜在风险,我们认为他们在这方面的早期工作有望:赠送给斯图尔特罗素罗宾汉森,而且生命未来学院,加上有关的资金工作的兴趣。AI安全的具体问题“最近由四个公开菲尔技术顾问,克里斯托弗·奥拉(谷歌大脑),Dario Amodei(Openai),Paul Christiano(UC Berkeley)和Jacob Steinhardt(Stanford)以及John Schulman(Openai)以及丹曼耶(谷歌大脑)。

开放菲尔的补助金不是一个完整的认可,他们注意了一些关于我们工作的保留在一个广泛的写作中详细说明进入赠款决定的思考。另外,普通菲尔执行董事Holden Karnofsky有写了一些个人想法关于他对近年来的米里和有效的利他主义社区的看法。

开放菲尔的决定于他们的技术顾问对我们最近关于逻辑不确定性和上升反思的工作的评估,以及七位匿名计算机科学教授和一个匿名研究生的评论。审查,大部分都是收集的这里,通常是否定的:审稿人觉得“归纳连贯”和“与无限延迟的在线学习中的渐近融合“并不重要结果,这些研究方向不太可能是富有成效的,开放的菲尔顾问持怀疑态度或不确定工作与亚博体育官网对齐人类价值观的AI系统的相关性。亚博体育苹果app官方下载

值得一提的是,“归纳连贯”和“渐近收敛”的结果直接导致了一个更重要的未发表的结果,逻辑归纳,我们最近与Open Phil和有效利他主义社区的成员讨论了这个结果。结果正在写出来,我们计划很快就印出来。鉴于这一进展,我们比评审者更有信心,Garrabrant等人的早期论文代表了正确方向上的重要步骤。如果这对审稿人来说不明显,那么这可能表明我们的论述是薄弱的,或者我们的结果的重要性本身就很难单从论文中评估。

一般来说,我认为评论者的批评是合理的 - 无论是我同意他们的观点,还是我认为这将需要更长的谈话来解决分歧。评论的细节水平和复杂程度也非常有价值。

审查的内容大多符合我的提前预测,尽管我的预测是低信心。我很快就写完了回应对于一些审稿人的评论,我的预测和来自Eliezer Yudkowsky的一些观察结果包括在附录中。这可能是对我们的研究优先事项和进步的更长讨论的开始,因为我们尚未在任何细节上写出许多这些问题的看法。亚博体育官网

我们非常感谢开放的菲尔的支持,以及他们和他们的顾问在评估我们的工作的时候。这笔补助金遵循了多年来我们组织战略的福利研究人员的许多挑战性和深度对话,这让我们完善了我们的意见和论点。亚博体育官网

过去的米里和赠品/公开菲尔省的公共交流包括:

另见菲尔的帖子转型性AI.ai作为慈善机会的风险,他们的早些时候AI风险原因报告