2017年回顾

||米里策略

这篇帖子评论Miri在2017年的活动，包括研究、招聘、展览及亚博体育官网筹款等活动。

2017年对于MIRI来说是一个重要的过渡年，因为我们承担了新的研究项目，这些项目更依赖于实际的编程工作和实验。亚博体育官网我们在2018年继续这些项目，在我们的2018年更新．这意味着我们要把重点放在为比过去更快的增长奠定基础上，包括建立基础设施和改变招聘方式，以吸引更多有工程背景的人。

与此同时，2017年是我们迄今为止在筹款方面表现最好的一年，我们看到来自两家机构的支持都有显著增加开放慈善项目来自加密货币社区，他们对加密货币的繁荣做出了巨大的慷慨回应。这使我们处于一个极好的位置，可以满怀信心地推进我们的计划，并将更多的精力集中在技术研究和增长上。亚博体育官网

今年的审查远远超过往常，我道歉。这是一个主要原因之一是，如果我无法引用我们的2017年活动，我们的2017年活动目录将不那么重要信息2018年更新，这解释了我们新工作背后的很多原因，以及我们正在做的事情是如何相互关联的。我为这可能导致人们试图跟踪MIRI的任何不便而道歉。我计划在2019年第一季度更早地发布我们的下一次年度评估。

2017年亚博体育官网研究进展

如我们的2017年组织更新并在我们最近的详细信息中详细阐述2018年更新，2017年在我们将研究努力中看到了重大转变。亚博体育官网虽然AN.扩展版本的代理基础议程继续成为Miri的重大关注，我们现在也在解决一套新的调整研究方向亚博体育官网借给代码实验的更多。

自2017年初以来，我们越来越多地采取不披露我们的许多研究结果，这意亚博体育官网味着我们的新产出较少被公开可用。我们2017年的一些工作（和2018年）继续公开，包括研究亚博体育官网AI对齐论坛．

2017年，Scott Garrabrant将我们的Agent Foundations议程重构为四个新类别:决策理论，嵌入式世界型号，强大的代表团,子系统亚博体育苹果app官方下载对齐．艾布拉姆·德姆斯基和斯科特现在共同写了一篇关于这四个问题的引言，这四个问题被认为是更大问题的不同方面嵌入式机构．”

比较我们的预测2017年3月1）到我们在2017年的进展情况，并使用1-5种规定，其中1表示“有限”进展，3表示“适度”进展，5表示“大量”进展，我们得到以下追溯对我们的公开研究进展。亚博体育官网：

决策理论

  • 2015年进展:3。(预测:3)。
  • 2016进展情况：3。（预计：3）
  • 2017年的进展:3.．(预测:3)。

2017年我们最重要的结果包括摆姿势和解决一个版本的匡威律师问题；2发展中合作的神谕；并提高我们对因果决策理论与证据决策理论之间关系的理解吸烟损伤斯蒂尔曼）。

我们还发布了一些关于决策理论的介绍性资源，包括“功能决策理论”,决定是为了使坏的结果不一致．

嵌入式世界模型

  • 2015年进展:5。(预测:3)。
  • 2016年进展:5。(预测:3)。
  • 2017年的进展:2．（预测：2.）

键2017的结果在此领域包括该领域的发现逻辑电感器可以看到对方支配对方;并且，作为一个推论，逻辑感应器的限制是相互支配的。

超出那个，斯科特盖拉德提特报道了这一点超了这关于概率真理谓词，反射性奥拉克斯和逻辑电感器的思想大大转移。此外，Vanessa Kosoy的“使用不完整模型预测“建立在我们以前的逻辑电感器的工作中，为建模复杂环境创建一个更清洁的（纯粹的学习 - 理论论）形式主义，表明在”逻辑归纳“中开发的方法对于与逻辑无关的经典序列预测中的应用是有用的。

强大的代表团

  • 2015年进展:3。(预测:3)。
  • 2016进展情况：4。（预计：3）
  • 2017年的进展:4．(预测:1。)

我们在铺砖问题上取得了重大进展，也澄清了我们对古德哈特定律的思考(见“好哈特分类学”)。这一领域其他值得注意的工作包括Vanessa Kosoy的工作授权逆钢筋学习框架，亚伯兰·德姆斯基对指向值的稳定指针"作为价值装载的核心需求，瑞安·凯里的"CIRL框架中的不可纠正性．”

子系统亚博体育苹果app官方下载对齐(新类别)

2017年Miri的更重要的研究转变之一就是对子系统对齐亚博体育官网问题的定位，如Eliezer Yudkowsky的讨论亚博体育苹果app官方下载优化守护进程,保罗global的宇宙先验究竟是什么样子的?和杰西卡·泰勒的使诱导为良性的几个问题．我们对这个问题的高层次思考可以在Scott Garrabrant和Abram Demski最近的著作中找到写上去．

2017年，我们对中国的关注也有所减少先进机器学习系统的对齐亚博体育苹果app官方下载(律师)议程。尽管我们认为这些问题非常重要，并继续定期检查它们，但我们发现AAMLS是有效的不那么容易处理比到目前为止，我们的其他研究议亚博体育官网程。

总的来说，我们继续(在2018年年底)对我们在2017年开始认真探索的联合攻击途径感到非常兴奋，包括嵌入式机构和我们最新的研究方向亚博体育官网．

2017年亚博体育官网科研支持活动

正如在我们的2018年更新，我们解决的新的研究线条比我们的代理基亚博体育官网金会研究的案例更容易雇用：

这项工作似乎比代理基金会的议程更“给出了自己的指导方针”。虽然我们过去要求员工在研究品味上非常契合，但现在我们认为我们已经有了足够的认识，可以在一定程度上放松这些要求。亚博体育官网我们仍在寻找在科学上具有创新精神的员工相当接近于研究的口味，亚博体育官网但我们的工作现在有很多优秀的数学家和工程师在MIRI工作。

因此，由于我们2017年的首要任务之一（持续到2018年）是将Miri Up设置为能够进行重大，持续增长。我们一直在帮助升级我们的招聘布莱克Borgeson,一个自然他曾是Recursion Pharmaceuticals的联合创始人，并作为CTO领导了该公司的机器学习工作。

具体而言，2017年我们：

2017对话与博览会

我们的2017年优先事项之一是同步并在与其他存在风险和AI安全组的战略景观中更加比较模型。对于多年来一些讨论的快照，请参阅Daniel Dewey关于HRAD的思考和Nate的响应；最近，尤多科夫斯基和保罗·克里斯汀诺关于保罗的谈话亚博体育官网研究建议．

2017年，我们还开展了大量的公众对话、博览会和外联活动。在这方面，我们:

2017年财务状况

筹款

2017年是迄今为止最好的筹款年度。我们总共提出了$ 5,849,500,超过2.5×我们在2016年提出的。3.在我们的年度筹款活动中，我们也提高了我们最高目标的双倍．我们非常感谢这些令人难以置信的支持。这次意想不到的成功筹资使我们更有信心地推进我们的增长计划，并通过各种方式促进了我们的招聘工作。4

2017年我们看到的资金大幅增加主要是由以下因素推动的:

  • 大量加密货币捐款涌入，占我们2017年捐款总额的42%。其中最大的是:
    • 来自匿名捐赠者的1010万美元。
    • 以太坊创始人兼创始人Vitalik Buterin以764970美元购买以太坊。
    • 来自Christian Calderon的BTC 367,575美元。
    • 职业扑克玩家丹·史密斯，汤姆·克劳利和马丁·克劳利为他们提供了295,899美元的比特币匹配的挑战在伙伴关系为有效捐赠而筹款．
  • 其他贡献包括：

正如下面的图表所示，尽管我们的筹款增加了一年以来，2017年以来，2017年以来的表现非常像对我们以前的增长率相比的比较年。这在很大程度上受到了加密货币的大涌入，但甚至不包括这些捐款，我们筹集了〜3.4亿美元，这是我们在2016年提出的1.5倍。5


（在此图表中和那些后续的图表中，“未完成”表示从过去一年没有捐赠的过去的支持者的贡献。）yabo体育官网下载ios

虽然最大的捐款推动了整体趋势，但我们看到，在所有捐款者规模中，捐款者的数量和金额都有所增长。



2017年，我们收到了745位独立贡献者的捐款，比2016年多38%，几乎与2014年相同我们参加了svgives．

来自国际捐助者的支持从2016年的20%增加到2017年的42%。这一增长很大程度上是由101万美元的ETH捐款推动的，但如果我们忽略这一捐款，支持仍然从20%增加到25%。从2016年底开始，我们一直在努力寻找方法，让我们的国际支持者能够在一场税收优惠的方式．由于这些努力，我预计这一百分比将大幅增加2018年。6


开支

在我们的2016年筹集资金后在美国，我们预计2017年的支出为200万至220万美元。2017年末，我们修改后的我们的预算为210万至250万美元(其中点估计为225万美元)，并对我们的主要预算类别进行了细分。

总的来说，我们的预测相当准确。总支出略低于210万美元。下图比较了我们的实际支出和预测支出。7


与我们的预期支出最大的偏差来自于研究我们的AAMLS议程的研究人员亚博体育官网(以良好的关系)继续进行其他项目．

有关过往的年报，请参阅:2016年，2015年，2014年,2013年；以及有关我们在2017年遵循的最新信息，请参阅2018年更新和资金筹集活动职位。

  1. 这些预测被编辑在下面，以配合斯科特在文章中所描述的术语变化2018年亚博体育官网研究计划和预测．↩
  2. Scott在他的文章中为这个问题创造了一个名字:无所不在的Converse Lawvere问题．↩
  3. 请注意，由于我们在内部跟踪捐赠之间的差异，本节中，本节中的金额可能与我们的审计财务报表略有不同，以及我们如何在财务报表中向其报告它们。↩
  4. 看看我们2018年筹款人员员工想要查询更多的信息。↩
  5. 这类似于2013年，当年33％的贡献来自JED MCCaleb的单一涟漪捐赠。↩
  6. 非常感谢Colm为这篇文章所做的工作;看看我们的税收优惠的捐款更多信息请访问页面。↩
  7. 我们以后的预算预测使用了一套更简单的主要预算类别。我已经将我们2017年的预算计划转化为这个分类计划，以便与实际支出进行比较，以便与新计划保持一致。↩