2013年审查：战略和展示研究亚博体育官网

||米里策略

这是我个人和定性的第三部分2013年MIRI的自我回顾，我开始查看Miri的2013年的研究活动。亚博体育官网通过“研亚博体育官网究活动”我的意思是包括主要针对研究人员的外联努力，以及三种类型Mir亚博体育官网i进行的研究：

我将在这篇文章中回顾MIRI的战略和说明性研究;亚博体育官网我对Miri的2013年友好AI研究的评论将出现在未来的帖子中亚博体育官网．在这篇文章的其余部分，我通常不会试图区分哪些着作是“expository”与“战略”研究，因为他们大多数都是两种的部分。亚博体育官网

2013年战略和展示研究亚博体育官网

  1. 2013年，我们的职业战略和展示研究由4个论文由Miri，4个杂志，4个章节，4章在同行评审的书中出版，亚博体育官网9章，深入分析博客帖子，14篇短暂的分析博客文章16面试与领域专家。
  2. 我认为这些努力在很大程度上完成了他们的目标目标，但2013年我们学会了如何在未来更有效地完成这些目标的大量巨大。特别是…
  3. 专家访谈似乎是实现一些目标的最有效方式。
  4. 我们应该专注于写下已知的东西(“说明性研究”)，并描述开放式研究问题，而不是自亚博体育官网己进行大型战略研究项目其他人可以检查它们。

我们在2013年做了什么，为什么

下面我列出了构成Miri的面向公开的作品22013年战略和展示研究。亚博体育官网

Miri工作人员对战略和展示研究的价值和目的具有不同的意见。亚博体育官网为自己说，我支持或进行上述研究活动，以便：亚博体育官网9

  1. 测试我们的假设并试图了解（可能）不同意我们的人的观点。例子：“我们如何有效地规划未来几十年？”，“政策制造者将如何处理AGI？”，Greg Morrisett采访。
  2. 学习新事物这可以告知有关存在风险和友好AI的战略行动。例子：“六个域中的算法进展，”哈迪Esmaeilzadeh采访，以及约瑟夫都市面试。
  3. 让其他研究人员更容易贡献亚博体育官网对具有战略意义的问题进行少量的初步研究，或者解释如何更深入地研究超级智能战略中的一个开放性问题。例子:《智能爆炸微观经济学》、《六个领域的算法进步》、《我们如何有效地规划未来几十年?》
  4. 与可能有一天贡献的研究人员建立关系亚博体育官网战略性，展示或友好的AI研究。亚博体育官网例子：许多面试。
  5. 解释小“拼图”，有助于Miri典型的观点关于存在风险和友好的AI。例子：“何时会创建AI？”，“数学证明改善但不要保证......”，“和尼克贝斯德的面试。

这些努力如何实现目标是多么好？

我们有尚未实现测量我们的战略和陈述研究努力的定量方法符合他们旨在的目标。亚博体育官网10目前，我只能根据自己的推理和一些伴随着遵循我们的研究的谈话，分享我的主观，定性的印象，在向他们展示前一节的近乎完整的草案后，我与一些遵循我们的研究。亚博体育官网

再保险:目标(1)．很难找到廉价而有力的证据来证明我们的假设。因此，针对这一目亚博体育官网标在2013年进行的研究要么微弱地证实了我们的一些假设(如Greg Morrisett访谈)11)，或者只能迈出一小步，为我们的假设提供良好的检验(例如，“我们如何有效地规划未来几十年?”以及“政策制定者将如何处理AGI?”)。

RE：目标（2）．同样，也很难找到廉价的证据来有力地确定一个重要战略变量的价值(例如AI时间线，AI起飞速度，或“收敛乐器值“思想思想设计空间”。因此，旨在学习亚博体育官网新事物的研究通常仅提供小更新（对我们，无论如何），例如，关于摩尔定律的前景（牵引艾迪Esmaeilzadeh采访）和关于当前的自动数学推理状态（Josef城市访谈）。

我自己对获得长期AI期货的额外高似然比证据的难度是这样的：

好吧，好消息是，人类似乎已经抓住了关于未来机器的大多数低悬垂的水果，这不是15年前的情况。坏消息是，单独的低悬垂的水果并不明确我们的目标赢得．但由于赌注真的很高，我们只需要接受长期预测很难， 然后更加努力．我们需要获取更多的研究人员涉及的研究人员亚博体育官网可以制作更多的研究，我们必须准备好接受它可能需要10个博士学位的工作，在我们获得关于一个有关战略相关变量的2：1贝叶斯更新之前。Also, it’s probably good to “marinate” one’s brain in relevant fields even if one isn’t sure which specific updates one will be able to make as a result, because filling one’s brain with facts about relevant fields will likely improve one’s intuitions in general about those fields and adjacent fields.12

回复：目标（3）．我没有良好的意识，Miri的2013年战略和expository研究是针对其他研究人员的有用，但这些影响通常需要几年来实现。亚博体育官网13我对这项工作持乐观态度，使他人能够进一步研究，因为这就是事情通常在其他研究领域工作，而且我看不到亚博体育官网思考过度理智策略将是任何不同的。

再保险:目标(4)．是的，许多面试与有用的域名专家建立了新的关系。

RE：目标（5）．再次，我没有良好的疗程在这里的影响，但我确实从社区成员那里获得了“这样的帖子真正澄清”的频繁评论。一些分析也被其他组定期链接。例如，两者都是赠送和80000小时与我们联系在一起模型组合帖子在解释自己的研究策略时。亚博体育官网

展望2014年

正如上面和我的业务回顾，我们仍然需要找到更好的方法来衡量我们的研究影响。亚博体育官网一个合理的首次尝试测量技术将是调查我们希望以各种方式影响的人的子集，并询问我们的研究如何影响它们。亚博体育官网

然而，即使在我们可以从改进的影响衡量中学习之前，我想我可以谈谈我在做战略和说明性研究中学到的东西，以及我们计划在2014年做什么不同的事情。亚博体育官网

第一的，采访领域专家是实现我的说明性和战略性研究目标的一种高效方式亚博体育官网．每次面试只需要几个小时的员工时间，而典型的“短”分析在5到25人之间的成本，典型的“深入”分析在10到60人之间的成本。

2013年7月1日至12月30日，我们共发表了16篇领域专家访谈，平均每月2.66篇。2014年我打算平均每月发表4次或更多的采访。

第二，说明性研究往往比新的战亚博体育官网略研究更有价值．Miri（与我们在FHI的合作者配合）有一个罕见的大积木的战略研究已经“完成”但不是亚博体育官网清楚地解释任何地方。显然，解释已经完成的战略研究的努力比进行原始战略研究，然后进行原始战略研究亚博体育官网还解释一下。

第三,我们可以通过与代表我们想要影响的人口的智能批评者对话，优先考虑expository（有时的战略）研究项目亚博体育官网（例如，AI研究人亚博体育官网员，兆慈善家），然后准备与其关切相关的着作。We can then dialogue with them again after they’ve read the new exposition, and see whether that particular objection remains, and if so why, and if not then what other objections remain — which can in turn inform our prioritization of future writings, and also potentially reveal flaws in our models.

第四，学生们想知道他们可以做的哪些研究项目会有助于澄清过度智能亚博体育官网战略．不幸的是，经验丰富的教授还没有敲开我们的门来问我们他们可以研究和写哪些论文来阐明超级智能策略，但是很多亚博体育官网研究生是。此外，我与研究生有几个谈话顾问他们说他们必须花很多时间帮助他们的学生找到好的项目，如果有人准备适合他们的学生和系里的研究项目提案，那将是很有帮助的。亚博体育官网

此外，有一些这种策略的历史先例是有效的，即使是在年轻狭窄的超级智能策略领域。最明显的例子是尼克贝克斯德，谁写了一个有用的哲学论文，以塑造远期的重要性，部分原因是与fhi.．JoãoLourenço目前正在撰写关于前景的哲学论文道德增强部分原因是与FHI和MIRI的对话。Jeremy Miller是关于普遍智力措施的论文项目的早期规划阶段，部分原因是与Miri的对话。我认为还有其他例子，但我还没有能够确认它们。

因此，在2014年，我们计划发布对研究项目的简短描述，可以告知SuperIntelligence策略。亚博体育官网一旦尼克博斯特罗姆的人来说，这将更容易超明预订发布，所以我们可能会等到今年夏天发生这种情况。

第五，Nick Bostrom即将推出的机器超级学术专着提供了一个独特的机会，可以从事更多的研究人员在超级智能战略中亚博体育官网．因此，我们的一些“外展对潜在的战略研究人员”在2014年工作将包括帮助促进Bostrom的书籍。亚博体育官网我们还计划发布这本书的阅读指南，以增加人们完成的频率，并从书中获益。

  1. 请注意，我称之为“Miri的战略研究”或“超智力战略研究”是一种专注于的超自眼的亚博体育官网子集赠送会打电话“战略原因选择研究亚博体育官网“ 和东航可以称之为"导致优先级的研究亚博体育官网．”↩
  2. 和往常一样，我们在2013年也做了一些重要的非公开的战略研究(至少现在还没有)，比如对尼亚博体育官网克·博斯特罗姆(Nick Bostrom)即将出版的书的各种草稿进行了100多个小时的反馈超明：路径，危险，策略，在罗宾汉森的早期草案中有15个小时的反馈即将到来的关于全脑仿真的书并致力于即将到来的Miri出版物。↩
  3. Yudkowsky将此标记为“友好的AI＃1中的开放问题”，但我将其分类为战略研究，而不是友好的AI研究。亚博体育官网↩
  4. 在文章发表时，Joshua Fox是MIRI研究助理。亚博体育官网↩
  5. “为什么我们需要友好的AI”发表于2014年初的期刊认为但它是2013年在网上发布的。↩
  6. “友好的人工智能”一章仅仅是yudkowsky的销售版本“人工智能在全球风险中的积极和消极因素．”↩
  7. 这些章节是在2011年和2012年编写的，但在2013年之前没有在这本书中发表。↩
  8. 与Eliezer Yudkowsky有两个很短的采访：“Yudkowsky在逻辑不确定性上“ 和 ”尤多考斯基说:“我们现在能做什么?”””↩
  9. I have an additional goal for some of our outreach and research activities, which is to address difficult problems in epistemology, because they are more relevant to MIRI’s research than to (e.g.) business or the practice of “normal science” (in the Kuhnian sense). “Pascal’s Muggle” is one example. Also, some of our expository and strategic research doubles as general outreach, e.g. the popular interview with Scott Aaronson.↩
  10. 嗯，我们可以共享一些基本的Web流量数据。根据Google Analytics，页面（2013年战略或陈述研究），因为它们创建的最“独特的PageView”是：“何时会创建AI？”亚博体育官网（〜15.5k），斯科特Aaronson采访（〜13.5k），哈迪Esmaeilzadeh采访（〜13.5k），“机器人，AI和失业反常见问题解答”（〜12k），“什么是智力？”(~5k), “Pascal’s Muggle” (~5k), “A brief history of ethically concerned scientists” (~4.5k), “Intelligence explosion microeconomics” (~3.5k), and “From philosophy to math to engineering” (~3.5k). Naturally, this list is biased in favor of articles published earlier. Also, Google Analytics doesn’t track PDF downloads, so we don’t have numbers for those.↩
  11. 例如。看到他的陈述“是的，我完全同意['数学证明改善......“帖子”“和”我认为重新架构和重新编码事情几乎总是在与螺栓接近相比时赢得安全性。“↩
  12. 最后一点是我听取的动机的一部分这么多的非小说型观众自2013年9月以来。↩
  13. “智能爆炸微观经济学”启用“六个域中的算法进展，”但仍然是这种情况米里必须委托“域的算法进步”。↩