为什么现在很重要

||Miri战略

我经常询问是否捐赠现在稍后比捐款更重要。让我强调是的:我目前预计今天对Miri的捐款价值远远超过Miri在五年内捐赠。随着事情的立场,我可能会在五年内超过20米的价格超过1000万美元。

这是一个大胆的声明,这有一些不同的原因。首先,有一种体面的机会,一些非常大的资助者将在未来五年内开始进入AI对准领域。看起来NSF可能开始为AI安全研究提供资金,斯图尔特罗素已经从DARPA获得了一些赚钱,以便对准。亚博体育官网在几年的时间里,很有可能是大量的公共资金将流入这个领域。

(它也很有可能惯于或者资金将会出现所有错误的地方,就像纳米技术资助的情况一样。但如果我不得不打赌,我会打赌,在五年的时间内为AI对准研究找到资金会更容易。亚博体育官网

换句话说,资金瓶颈很松动 - 但它尚未松动。

我们现在没有提供资金成长尽可能快在未来几个月,或运行我们计划的所有重要研究计划。亚博体育官网在我们目前的资金水平,研究团队可以以稳定的节奏成长 - 但如果我们有亚博体育官网资金与健康一样快地,我们可能会在未来几年的过程中获得更多。

这让我介绍了为什么融资的第二个原因可能比以后的资金更重要:因为现在增长比以后的增长更有价值。

在AI领域中有一个想法拾取牵引:而不是仅关注智能系统的能力,而是确保我们知道如何构建是很重要的亚博体育苹果app官方下载有利智能系统。亚博体育苹果app官方下载支持在AI中的一个新的范式而越来越多地考虑了研究计划的长期影响,而不是立即影响。亚博体育官网多年来,这些想法似乎很明显,而且AI社区对这些挑战的反应可能是全面的挥杆。然而,现在,关于如何接近这些问题,对研究人员的空间有助于确定现场的未来方向,这相对较少。亚博体育官网

Miri的人们一直在考虑很长一段时间,这让我们在一个异常的良好位置来影响AI的领域,并确保除了短期内,一些日益增长的问题是针对长期问题的那些。We can, for example, help avert a scenario where all the attention and interest generated by Musk, Bostrom, and others gets channeled into short-term projects (e.g., making drones and driverless cars safer) without any consideration for long-term risks that are less well-understood.

Miri可能会在某些时候扩展;但如果这一过程始于2018年而不是2015年,那么我们就可以遗漏了一些大机会。

AI中的对齐研究计划刚刚开始亚博体育官网认真入门,甚至可能在几年的时间内饱润。但它无处可去的资金饱和今天,等待五年或十年开始严重升高,我们的增长可能会让我们在这个新的AI范式内塑造方法和研究议程的机会越来越少。亚博体育官网这些项目Miri今天开展了较大的差异较大的差异,今天支持我们会大大影响我们可以快速做多少。现在很重要。