2017年回顾

||米里策略

这篇文章的评论MIRI在2017年的活动,包括研究、招聘、展览及亚博体育官网筹款等活动。

2017年对于MIRI来说是一个重要的过渡年,因为我们承担了新的研究项目,这些项目更依赖于实际的编程工作和实验。亚博体育官网我们在2018年继续这些项目,在我们的2018年更新.这意味着我们要把重点放在为比过去更快的增长奠定基础上,包括建立基础设施和改变招聘方式,以吸引更多有工程背景的人。

与此同时,2017年是我们迄今为止在筹款方面表现最好的一年,我们看到来自两家机构的支持都有显著增加开放慈善项目来自加密货币社区,他们对加密货币的繁荣做出了巨大的慷慨回应。这使我们处于一个极好的位置,可以满怀信心地推进我们的计划,并将更多的精力集中在技术研究和增长上。亚博体育官网

今年的评估比往年晚了很多,对此我深表歉意。其中一个主要原因是,我觉得如果我不能引用我们的活动目录,我们2017年的活动就会信息量大得多2018年更新,这解释了我们新工作背后的很多原因,以及我们正在做的事情是如何相互关联的。我为这可能导致人们试图跟踪MIRI的任何不便而道歉。我计划在2019年第一季度更早地发布我们的下一次年度评估。

2017年亚博体育官网研究进展

如我们的2017年组织更新在我们最近的2018年更新2017年,我们的研究重心发生了重大转变。亚博体育官网尽管一个扩展版代理基础议程继续是MIRI的主要重点,我们现在也在处理一组新的调整研究方向亚博体育官网这让他们更适合进行编码实验。

自2017年初以来,我们越来越多地采取不披露我们的许多研究结果,这意亚博体育官网味着我们的新产出更少是公开的。我们在2017年(和2018年)的一些工作继续被公开,但是,包括对亚博体育官网AI对齐论坛

2017年,Scott Garrabrant将我们的Agent Foundations议程重构为四个新类别:决策理论嵌入式世界模型强大的代表团,子系统亚博体育苹果app官方下载对齐.艾布拉姆·德姆斯基和斯科特现在共同写了一篇关于这四个问题的引言,这四个问题被认为是更大问题的不同方面嵌入式代理.”

比较我们的预测2017年3月1),并使用1-5的尺度,其中1表示“有限的”进展,3表示“适度的”进展,5表示“相当大的”进展,我们对我们面向公众的研究进展进行了以下回顾:亚博体育官网

决策理论

  • 2015年进展:3。(预测:3)。
  • 2016年进展:3。(预测:3)。
  • 2017年的进展:3..(预测:3)。

2017年我们最重要的结果包括摆姿势解决一个版本的匡威Lawvere问题2发展中合作的神谕;并提高我们对因果决策理论与证据决策理论之间关系的理解吸烟损伤斯蒂尔曼).

我们还发布了一些关于决策理论的介绍性资源,包括功能决策理论”,决定是为了使坏的结果不一致

嵌入式世界模型

  • 2015年进展:5。(预测:3)。
  • 2016年进展:5。(预测:3)。
  • 2017年的进展:2.(预测:2。)

2017年这一领域的关键结果包括以下发现逻辑电感可以看到对方支配对方;并且,作为一个推论,逻辑感应器的限制是相互支配的。

除此之外,Scott Garrabrant报道超了这在概率真理谓词、反思性预言和逻辑感应方面显著地改变了他的思维。此外,Vanessa Kosoy的“使用不完全模型进行预测“建立在我们之前在逻辑感应器上的工作,以创建一个更干净(纯粹学习理论)的形式来建模复杂的环境,这表明在“逻辑归纳”中开发的方法对与逻辑无关的经典序列预测应用是有用的。

强大的代表团

  • 2015年进展:3。(预测:3)。
  • 2016年进展:4。(预测:3)。
  • 2017年的进展:4.(预测:1。)

我们在铺砖问题上取得了重大进展,也澄清了我们对古德哈特定律的思考(见“古德哈特分类法”)。这一领域其他值得注意的工作包括Vanessa Kosoy的工作委托式反向强化学习框架,亚伯兰·德姆斯基对指向值的稳定指针"作为价值装载的核心需求,瑞安·凯里的"CIRL框架中的不可纠正性.”

子系统亚博体育苹果app官方下载对齐(新类别)

在Eliezer Yudkowsky等人的讨论之后,20亚博体育官网17年MIRI的一个更重要的研究转变是转向子系统对齐问题亚博体育苹果app官方下载优化守护进程,保罗global的宇宙先验究竟是什么样子的?和杰西卡·泰勒的使诱导为良性的几个问题.我们对这个问题的高层次思考可以在Scott Garrabrant和Abram Demski最近的著作中找到帐面价值

2017年,我们对中国的关注也有所减少先进机器学习系统的对齐亚博体育苹果app官方下载(律师)议程。尽管我们认为这些问题非常重要,并继续定期检查它们,但我们发现AAMLS是有效的不那么容易处理比我们目前的其他研究计划更重要亚博体育官网。

总的来说,我们继续(在2018年年底)对我们在2017年开始认真探索的联合攻击途径感到非常兴奋,包括嵌入式机构和我们最新的研究方向亚博体育官网

2017年亚博体育官网科研支持活动

正如在我们的2018年更新,我们正在处理的新研究方向比我们的Ag亚博体育官网ent Foundations研究更容易招人:

这项工作似乎比代理基金会的议程更“给出了自己的指导方针”。虽然我们过去要求员工在研究品味上非常契合,但现在我们认为我们已经有了足够的认识,可以在一定程度上放松这些要求。亚博体育官网我们仍在寻找在科学上具有创新精神的员工相当接近于研究的口味,亚博体育官网但我们的工作现在有很多优秀的数学家和工程师在MIRI工作。

因此,我们在2017年(持续到2018年)的首要任务之一是建立MIRI,使其能够经历重大、持续的增长。我们在扩大招聘方面得到了很大的帮助布莱克Borgeson,一个自然他曾是Recursion Pharmaceuticals的联合创始人,并作为CTO领导了该公司的机器学习工作。

具体来说,2017年我们:

2017对话与博览会

我们2017年的重点之一是在战略层面上与其他存在风险和人工智能安全小组进行同步和比较。关于这些年来的一些讨论,请参阅丹尼尔•杜威的文章想法HRAD和奈特的响应;最近,尤多科夫斯基和保罗·克里斯汀诺关于保罗的谈话亚博体育官网研究建议

2017年,我们还开展了大量的公众对话、博览会和外联活动。在这方面,我们:

2017年财务状况

筹款

2017年是迄今为止我们筹得最多的一年。我们总共筹集了5849500美元,超过2.5×我们在2016年提出的。3.在我们的年度筹款活动中,我们也提高了我们最高目标的两倍.我们非常感谢这些令人难以置信的支持。这次意想不到的成功筹资使我们更有信心地推进我们的增长计划,并通过各种方式促进了我们的招聘工作。4

2017年我们看到的资金大幅增加主要是由以下因素推动的:

  • 大量加密货币捐款涌入,占我们2017年捐款总额的42%。其中最大的是:
    • 来自匿名捐赠者的1010万美元。
    • 以太坊创始人兼创始人Vitalik Buterin以764970美元购买以太坊。
    • 克里斯蒂安·卡尔德隆的367,575美元比特币。
    • 职业扑克玩家丹·史密斯,汤姆·克劳利和马丁·克劳利为他们提供了295,899美元的比特币匹配的挑战在伙伴关系为有效捐赠而筹款
  • 其他贡献包括:

如下图所示,尽管自2014年以来,我们的筹款规模逐年增加,但与我们之前的增长率相比,2017年看起来非常像一个异常值年。这主要是由大量加密货币捐款推动的,但即使排除这些捐款,我们也筹集了340万美元,这是我们在2016年筹集的1.5倍。5


(在这张图和后面的图表中,“未过期”表示过去一年没有捐赠的支持者的捐款。)yabo体育官网下载ios

虽然最大的捐款推动了整体趋势,但我们看到,在所有捐款者规模中,捐款者的数量和金额都有所增长。



2017年,我们收到了745位独立贡献者的捐款,比2016年多38%,几乎与2014年相同我们参与了svgiving

来自国际捐助者的支持从2016年的20%增加到2017年的42%。这一增长很大程度上是由101万美元的ETH捐款推动的,但如果我们忽略这一捐款,支持仍然从20%增加到25%。从2016年底开始,我们一直在努力寻找方法,让我们的国际支持者能够在一场税收优惠的方式.我预计,在这些努力的推动下,2018年这一比例将大幅上升。6


支出

在我们的2016年筹集资金后在美国,我们预计2017年的支出为200万至220万美元。2017年末,我们修改后的我们的预算为210万至250万美元(其中点估计为225万美元),并对我们的主要预算类别进行了细分。

总的来说,我们的预测相当准确。总支出略低于210万美元。下图比较了我们的实际支出和预测支出。7


与我们的预期支出最大的偏差来自于研究我们的AAMLS议程的研究人员亚博体育官网(以良好的关系)继续进行其他项目

有关过往的年报,请参阅:201620152014,2013;关于2017年以来的最新信息,请参阅我们的2018年更新资金筹集活动职位。


  1. 这些预测被编辑在下面,以配合斯科特在文章中所描述的术语变化2018年亚博体育官网研究计划和预测
  2. Scott在他的文章中为这个问题创造了一个名字:无所不在的Converse Lawvere问题
  3. 请注意,由于我们在内部跟踪捐款的方式和我们被要求在财务报表中报告捐款的方式之间存在微小差异,本部分的金额可能与我们的审计财务报表略有不同。
  4. 看到我们的2018年筹集资金后为更多的信息。
  5. 这与2013年类似,当时我们33%的捐款来自杰德·麦凯勒布(Jed McCaleb)的一笔Ripple捐款。
  6. 非常感谢Colm为这篇文章所做的工作;看看我们的税收优惠的捐款更多信息请访问页面。
  7. 我们以后的预算预测使用了一套更简单的主要预算类别。我已经将我们2017年的预算计划转化为这个分类计划,以便与实际支出进行比较,以便与新计划保持一致。