2016年回顾

||Miri战略

现在是我对Miri的活动的年度审查了。1在这篇文章中，我将在2016年提供我们在2016年的工作摘要，了解我们的活动如何与我们以前说明的目标和预测相比，并反思我们过去一年的战略如何适合我们作为组织的使命。我们将在4月份在2017年的战略更新之后遵循这份发布。

在2015年加倍研究团队的大小后，亚博体育官网2我们在2016年减缓了我们的增长，并专注于将新增的添加到我们的团队中，使研究进展，并编写现有结果的积压。亚博体育官网

2016年为我们在研究前面是我们的一个重要年度，我们的新研究人员造成亚博体育官网了一些最值得注意的贡献。我们最大的消息是斯科特盖拉德坦的逻辑电感器框架，这代表了我们迄今为止在逻辑不确定性问题上最大的进步。我们另外发布了”高级机器学习系统对齐亚博体育苹果app官方下载“（aamls）是由杰西卡泰勒施用的新技术议程。

我们还在去年与更广泛的AI社区一起参与，例如，通过月长坚固耐用的人工智能的古典系列我们与人类学院的未来共同，通过今年的许多事件谈判和参与面板。

2016年亚博体育官网研究进展

我们今年在我们中看到了重大进展代理基金会议程包括Scott Garrabrant逻辑电感器形式主义(这可能代表了我们迄今为止最重要的技术成果)和Vingean反思中的相关发展。与此同时，我们在误差容忍度和值规范方面看到的进展相对较小计划要在2016年投入更多。以下，我将注意到我们每个研究领域的亮点：亚博体育官网

逻辑不确定性和归化诱导
  • 2015年进展：很大。（预测：适度。）
  • 2016年进展：很大。（预测：很大。）

我们看到了与逻辑归纳相关的大量结果。2015年底由Scott Garrabrant领导的早期工作中出现的逻辑归纳（2016年4月撰写），这些逻辑不确定性划分了逻辑不确定性问题进入两个子问题．斯科特展示了一次使用满足高度一般“逻辑归纳标准”的算法一次可以解决这两个问题。

该标准为理解资源限制下的理想化推理提供了一种简单的方法。用安德鲁·克里奇(Andrew Critch)的话来说，逻辑归纳是“计算机科学的元数学问题的金融解决方案”:一种将合理的概率赋予任意(经验的、逻辑的、数学的、自我参照的等)句子的过程，其速度超过了演绎，可以用不可利用的股票市场类比来解释。

我们2016年在该领域的另一项主要工作是由MIRI研究助理Vanessa Kosoy领导的独立研究路线。”亚博体育官网最优多项式估计：近似算法的贝叶斯概念．” Vanessa approaches the problem of logical uncertainty from a more complexity-theoretic angle of attack than logical induction does, providing a formalism for defining optimal feasible approximations of computationally infeasible objects that retain a number of relevant properties of those objects.

决策理论
  • 2015年进展：适度。（预测：适度。）
  • 2016年进展:谦虚。（预测：适度。）

我们继续看到与定义逻辑反应性的问题相关的有趣结果。2016年，我们开始将逻辑电感框架应用于决策理论问题，与之合作通用电感器．安德鲁克里奇也开发出来解决政策分歧的游戏 - 理论方法这优于标准的妥协方法，也允许谈判者对事实问题不同意。

在这个空间中，我们有一个很多结果的积压。我们最新的，“大马士革死里逃生“总结了功能决策理论的案例，这是系统地优于决策理论和博弈论中传统的学术观（因果和证据决策理论）的理论。亚博体育苹果app官方下载这是我们用于研究逻辑反事实和相关的公开问题的基本框架，是一个很好的介绍文件，用于了解我们在这个空间中的其他工作。

概述我们最近对此主题的工作，请参阅Tsvi Benson-Tilsen的决策理论指数关于研究论坛。亚博体育官网

Vingean反射
  • 2015年进展：适度。（预测：适度。）
  • 2016年进步：适度至关重要。（预测：有限。）

我们的主要结果在去年逻辑电感中担心自信的反思推理。在看到Vingean反射没有多年的主要进步之后 - 前进的最后一步是Benya Fallenstein的模型多态性建议在2012年末我们计划在2016年取消这一问题的优先级，因为我们认为在取得更大进展之前，还需要其他工具。然而，在2016年，逻辑归纳法在解决一些突出的贴片问题上出人意料地有用。

如“逻辑归纳“逻辑电感器提供了一个简单的自信推理演示，这是高度一般和准确的，是没有悖论的，并为推销人的信仰分配合理的信任。这提供了一些证据表明，逻辑不确定性本身的问题是关于智力理论基础的许多谜题的核心。

容忍误差
  • 2015年进展:有限。（预测：适度。）
  • 2016年进展：有限。（预测：适度。）

2016年看到了我们的释放“高级ML系统对齐亚博体育苹果app官方下载“研亚博体育官网究议程，重点是误差容忍和价值规范。这些区域发生的进展较少，部分预期部分是因为这里的调查仍然非常初步。我们还在2016年末的研究总体上花了更少的研究，而不是亚博体育官网我们计划的，部分原因是我们花了很多时间编写了我们的新结果和研究建议。

nate在我们的10月AMA他认为这次在绘制撰写的撰写2016年错误之一的时候投资，我们计划在2017年在纸质写作上花费更少的时间。

我们2016年的容错工作包括“因果反应性实用性漠不关心的两个问题“我们花了一段时间，我们花了讨论和批评Dylan Hadfield-Menell的提议浮雕浮雕．我们计划在今年晚些时候更广泛地分享我们对后一个研究方向的想法。亚博体育官网

价值规范
  • 2015年进展:有限。（预测：有限。）
  • 2016年进展：弱于谦虚。（预测：适度。）

虽然我们计划在去年更加注重价值规范，但我们最终取得了不足预期的进展。我们在这一领域的工作示例包括Jessica Taylor和Ryan Carey的帖子在线学习和杰西卡的分析如何在人类系统中传播错误的误差。亚博体育苹果app官方下载

我们对去年的代理基金会议程的进展非常满意，我们希望看到我们开发的新工具级联进度。与此同时，仍有多么令人遗憾的是我们在AAMLS议程中处理的新一系列问题。

2016年亚博体育官网研究支持活动

9月，我们带来了Ryan Carey，以支持Jessica担任Aamls议程的工作，担任助理研究员。亚博体育官网3.我们的助理研究员奖学金项目似亚博体育官网乎进展顺利;在和Jessica一起编写结果时，Ryan给了我们很大的帮助。偏见检测在线学习者“），以及设置与Patrick Lavictoire项目的Tensorflow工具。

除了新研究研究员的石板之外，我们可能会在今年扩展该计划，并带入其他助理研究员。亚博体育官网

专注于与技术研究计划相对直接相关的其他活动，包括2016年与工业和学术界的研究人员合作和同步我们：亚博体育官网

总的来说，2016年我们的研究团队增亚博体育官网长略微慢于预期。我们还在接受申请人类型理论职位（以及在Miri的其他研究角色亚博体育官网，通过我们的亚博体育苹果app官方下载 ），但我们希望在我们专注于船上的核心研究人员的情况下，我们预计至少会有未接下来的6个月内未填充的角色。亚博体育官网4.

2016年一般活动

同样在2016年，我们：

2016年筹款

2016年是Miri筹款努力的一个很好的一年。我们共提出了$ 2,285,200,一个44%增加2015年的1,584,109美元。这一增加在很大程度上是：

  • 一般拨款500000美元来自公开慈善项目．5.
  • 捐赠300,000美元从布莱克Borgeson。
  • 贡献93548美元从提高有效捐赠。6.
  • 研究亚博体育官网资助$ 83,309从生命研究所的未来。7.
  • 我们社区在秋季筹款活动期间的强劲投票率$ 595,947，我们的第二大筹款赛迄今为止。
  • 尽管我们没有运行冬季筹款机构，但仍然是一年四年结束的令人欣慰的支持。

假设我们能够维持这一资金水平，这代表了我们主要筹款目标的初步履行从2016年1月：

我们的下一个大推动将缩小我们新预算与年度收入之间的差距。为了维持我们目前的增长计划 - 旨在扩大到大约十个全日制研究人员的团队 - 我们需要在2017年中期一直持续接近每年200万美元。亚博体育官网

随着下图所示，2016年持续发展我们的筹款努力的积极增长趋势。

从这些年度比较的绘制结论可能有点棘手。Miri在这段时间内完成了重大的组织变迁，特别是在2013年。我们还转型为2014年的基于权衡的会计，这也使比较与前几年复杂化。

然而，我们可以强调2016年取得的某些进展:

  • 秋季筹款人：我们首次在2016年举行单一筹款人，而不是我们的“传统”夏季和冬季筹款人 - 从9月中旬到10月31日。虽然我们没有击中我们的初始目标为750k,我们希望我们的资助者正在等待今年晚些时候给予，并在年底弥补短缺。我们很高兴在2016年底，他们在大量方面通过了大量的，其中一些可能由社区成员的公开职位激励。8.总而言之，我们在2016年12月（〜430,000美元）的贡献比上两年的同月，当我们积极训练冬季筹款活动，这是我们的一个有趣的数据点。以下图表对我们的支持者对秋季筹款司机的回应省略了额外的光线：


    请注意，如果我们从前秋季数据中删除开放的慈善项目的授权，那么4时间段的比率都看起来很相似。总的来说，这种数据暗示了，而不是一群新的资助者在最后一刻进入，我们现有的资助者的一部分选择等到年底捐款。yabo体育官网下载ios
  • 2016年，我们收到退货资金的非凡支持尤其值得注意，保留了89％（在美元方面）2015年资助者。要将其放在更广泛的背景下，横跨平均礼品保留率一个具有代表性的部分过去5年的美国慈善空间已有46％。
  • Miri的独特资金的数量在2016年增加了16％- 从491到571--继续普遍增加趋势。2014年由于社区积极参与而在此图中对此图表非常高我们令人难忘的SVGIVES活动．9.
  • 国际支持继续占捐款的20%左右。与美国不同于新的机构支持（公开慈善项目）的增加，国际支持增长是由欧洲（特别是斯堪的纳维亚和英国），澳大利亚和加拿大的人士推动的。
  • 雇主匹配计划的使用同比增长了17%，2016年通过企业匹配计划收到超过180,000美元的捐款，我们最高约会。通过2017年，这一增长的早期迹象仍然存在。
  • 对小型，中大小，大型和非常大的资助机构的贡献分析显示了2015年所有四个部分的贡献增加：

由于我们在2016年筹集了超过200万美元，加州法律要求我们准备一份由独立注册会计师(CPA)审计的年度财务报表。同我们过去几年的财务报告一样，这份报告将在9月底前提交透明度和金融类股页。

向前走

的2016年7月从2015年年中开始，我们的目标如下:

  1. 加速增长：“扩展到大约十个人的核心研究团队。”亚博体育官网（来源）
  2. 类型理论在理论项目中：“雇用一个或两种类型的理论家全职开发相关工具。”（来源）
  3. 独立审查：“我们还研究了直接从独立研究人员直接征求关于我们的研究议程和早期结果的选项。”亚博体育官网（来源）

我们目前有七位研究员和助理研究员，并计划在不久的亚博体育官网将来雇用几个。我们希望在接下来的3-4个月内击中我们的十大目标，并继续今年晚些时候成长研究队。亚博体育官网如上所述，我们正在推迟在理论员雇用的类型上向前移动。

公开慈善项目目前正在审查我们的研究议程亚博体育官网作为他们评估我们未来拨款的一部分．他们发布了初始Miri的大图片组织审查九月，相伴而来评论几个最近的Miri论文（Nate回应了在这里）。这些审查通常对我们的工作非常批评，开放菲尔表示有关我们的代理基础议程的一些保留以及我们迄今为止的技术进步。然而，我们是乐观的，我们将能够更好地使我们的案例在讨论中开放菲尔，并且通常在我们对最重要的问题的看法中收敛更多。

在我们的2016年8月战略更新，Nate概述了我们的其他组织优先事项和计划：

  1. 技术研究：继续在我们亚博体育官网的代理基金会议程上努力，同时开始工作AAMLS。
  2. AGI对齐概述：“Eliezer Yudkowsky和我将在致力于在这些问题上拆下我们的时间并进行展示写作。Eliezer是关于对齐理论的写作，虽然我将写下Miri战略和预测问题。“
  3. 学术外展活动：“为了帮助促进我们的方法并发展领域，我们打算举办更多旨在各种学术受众的研讨会。我们将在不久的将来举办机器学习车间，可能会像CSRBAI一样运行更多的活动。“
  4. 纸质写作：“我们也有一个过去的技术结果来编写，我们预计将对计算机科学，经济学，数学逻辑，决策理论和其他领域的更多研究人员来说是有价值的。”亚博体育官网

所有这些都是我们的优先事项，尽管我们现在考虑5更重要（和6和7不太重要）。我们已经运行了三毫升讲习班，并在我们的AAMLS研究议程上取得了更多的进展。亚博体育官网我们现在对我们的AGI对齐概述准备了大量内容，并且开始了（可能相当长）编辑过程。我们还发布了“逻辑归纳”并在管道中拥有许多其他纸。

我们将在下个月的战略更新帖子中提供更多关于我们的优先级如何自8月以来发生变化的细节。与过去几年一样，人工智能对齐问题的对象级技术研究将继续是我们的首要任务，尽管我们将亚博体育官网在研究重点和推广计划上经历一个中等规模的转变。10.

  1. 查看我们之前的评论：2015年那2014年那2013年．↩
  2. 从2015年回顾：“帕特里克·瓦特奥尔于3月加入3月，杰西卡泰勒于8月，安德鲁·克鲁斯于9月，并于12月份斯科特·格拉德兰。随着Nate转向非研究角色，总体而言，我们从一个三人研究团队（El亚博体育官网iezer，Benya和Nate）增长到六人队。“↩
  3. 正如我所注意到的AMA：“在Miri，研究员是亚博体育官网一个全职的永久性地位。学术界的一个体面的类比可能是研究员来到助理研究员，作为全职教师是发布的。亚博体育官网助理研究奖学金旨在成亚博体育官网为一个更初级的职位，固定的1-2年。“↩
  4. 在临时，我们的研究实习生Jack Gal亚博体育官网lagher继续在这个领域进行有用的贡献。↩
  5. 请注意，本节的数字可能与以前公布的估计数字不完全一致，因为经常对捐款数据作小的修正。还请注意，这些数字不包括实物捐赠。↩
  6. 这个数字只计算通过REG对MIRI的直接贡献。REG/EAF对MIRI的支持在计算通过EAF的捐款时接近15万美元，许多是根据REG的建议做出的。↩
  7. 我们也被授予了一个75,000美元的补助金来自长期网络安全的中心，追求与斯图尔特罗素和新的UC Berkeley Postdoc的浮雕项目，但我们无法在相关的时间表中填写预期的博士后职位，项目被取消。斯图尔特罗素随后收到了大笔补助金来自公开慈善项目推出新的学习浮雕和其他AI安全问题的新学术研究所，亚博体育官网人类兼容的AI中心．↩
  8. 我们收到了投资分析师及时的捐助者建议本·洛杉矶，人类未来研究所研究员亚博体育官网欧文棉花,Daniel Dewey和Nick Beckstead公开慈善项目（回声80,000小时）。↩
  9. 我们从2015年的独特资助者保留了45％，非常符合美国慈善空间的资助留言，这与前一点相结合，建议返回MIRI资助者比大多数人更加支持。↩
  10. 我感谢Rob Bensinger, Colm Ó Riain和Matthew Graves对本文的巨大贡献。↩