MIRI的2020年是试验和调整的一年。为应对2019冠状病毒病(COVID-19)大流行，今年3月，我们在很大程度上将业务转移到农村地区，并更加重视远程工作。我们借此机会尝试了新的工作模式和研究方法，并且对结果非常满意。亚博体育官网
与此同时，MIRI领导层此前最兴奋的研究——新技术——在2020年取得的进展有限亚博体育官网亚博体育官网研究方向我们从2017年开始。鉴于到目前为止进展缓慢，我们正在考虑对我们的战略进行一些可能的改变，MIRI的研究领导正将大部分注意力转向寻找更有前途的路径。亚博体育官网
去年,我预计我们2020年的预算将在640万至740万美元之间，预估为680万美元。我现在预计我们2020年的支出将略高于740万美元。超出我估计的支出增长主要来自我们为应对COVID-19大流行而调动工作人员和采取预防措施所产生的费用。
我们的2021年预算相当不确定，因为我们在未来一年更有可能看到我们的战略发生高层变化。我目前的估计是，我们的支出将在600万至750万美元之间，我预计大致如下:
我也很乐意宣布生存和繁荣的基金（SFF）获颁五十六万三千元支持我们的研究进展，在他们提供亚博体育官网的支持之上今年早些时候．
鉴于我们的研究项目正处于过渡时亚博体育官网期，而且我们今年已经得到了438万美元的大力支持从开放的慈善事业来自SFF的$ 903K，距离其他贡献者〜100万美元（谢谢所有人！） - 我们今年冬天没有举行正式筹款。在此过渡期间仍然欢迎和赞赏捐款;但是，当我们的计划更加坚固时，我们会等待我们的案件给捐助者。现在，看看我们的yabo体育官网下载ios 如果你有兴趣支持我们的研究，请点击。亚博体育官网
下面，我将详细介绍我们的2020年是如何进行的，以及我们对未来的计划。
2017年启动研究方向和研究计亚博体育官网划
在2017年,我们介绍了一套新的研究方向，我们描述亚博体育官网和激励更多2018年更新:我们的新研究方向亚博体育官网我们写道，我们正在“寻找全新的低层次优化基础”，“努力找出与认知一样透明的认知部分”，并“试验一些特定的对齐问题”。2019年12月，我们认为我们在这项研究上取得了“稳步进展”，但事实并非如此亚博体育官网对我们迄今为止的具体结果感到失望．
在对这些研究进行了更多的推动后，MIRI的高级职员对这种方法变得更加悲观。亚博体育官网MIRI执行董事和高级研究员Nate Soares写道:亚博体育官网
我(Nate)最感兴趣的非公开研究是尝试为可亚博体育官网对齐人工智能开发实用可行的新基础，它不依赖于通过梯度下降式机器学习基础进行路由。尽管存在明显的困难，但我们有各种理由希望这能奏效。
这个项目现在基本上失败了，因为以利以谢和我对它都没有足够的希望让我们继续把主要精力集中在那里。我不确定它的失败是由于我们的执行失败，还是由于该领域固有的困难，还是由于基础理论中的缺陷。
我们失去希望的部分原因是感觉我们进展得太慢，考虑到我们对AGI可能有多远的感觉和对齐问题的困难感。人工智能校准的领域是在一个截止日期下工作，如果工作进展足够慢，我们就会更好放弃并枢转到新的项目，该项目具有实际可能导致的第一个AGI系统建立在可对齐的基础上。亚博体育苹果app官方下载
我们目前正处于重组的状态，权衡我们的选择，并寻找我们认为可能有机会起作用的计划。
纵观整个领域，MIRI的研究领导层对迄今为止我们所看到的大多数结盟提议仍然相当悲亚博体育官网观。也就是说，我们对近期研究方向的悲观态度并没有减少我们对替代能源领域的悲观态度，我们接下来的研究方向不太可能像今天在MIRI之外流行的方亚博体育官网向。
MIRI认为有必要对这些项目做出改变。与此同时，许多人(包括Nate)仍然对这项研究背后的理论抱有一些希望，并希望这些项目能够以某种方式获救，比如通过发现和纠正我们如何进行这项研究的失败。亚博体育官网但是，花在救援工作上的时间与寻找更好、更有希望的协调计划之间存在着取舍。
因此，我们正在做一些改变，影响以前专注于这项工作的工作人员。有些人离开MIRI从事不同的工作，因为我们改变方向，从他们特别适合的线。一些人正在寻求拯救2017年启动的研究路线。亚博体育官网有些则转向不同的实验和探索。
我们不确定我们将决定什么长期计划，并且正在制定新的可能的战略。一些(非互斥的)可能性包括:
- 我们可能成为多样化研究方法的家园，旨在发展新的对齐路径。亚博体育官网考虑到我们对最佳迎角的不确定性增加，在不同的方法之间进行某种程度的相互交流和交叉交流，从而容纳更多样化的项目组合可能是有价值的。
- 经过一段时间的探索，如果我们能确定一个我们认为有真正机会确保AGI积极结果的方法，我们可能会致力于一个全新的方法。
- 我们可以将2017年启动的研究方向中的理论和见解以不同的形式推进到未来的计划中。亚博体育官网
亚博体育官网研究增记
虽然2017年启动的研究方向是过去几年来我们最大的关注焦亚博体育官网点，但我们也同时开展了许多其他研究项目。
这项工作的大部分是nondisclosed-by-default也是，但它包括了我们公开写过的工作。(请注意，作为一个规则，这种面向公众的工作并不能代表我们整体的研究。)亚博体育官网
从我们的角度来看，我们今年最有趣的公共工作是Scott Garrabrant的笛卡尔框架模型和Vanessa Kosoy的下贝叶斯理论。
笛卡儿坐标系一个思考代理的新框架，是作为继任者的吗无毒剂模型．而控制论代理模型假设基本的代理和环境是通过一个定义的和稳定的I/O通道持续存在的，笛卡尔框架将这些特性视为更派生的，并依赖于一个人如何从概念上分割物理情况。
笛卡尔坐标系序列特别关注于寻找“子代理”概念的派生的、近似友好的版本(前面在“嵌入式代理)和时间序列(原因之一决策理论问题在代理人可以根据预测或关于他们自己行动的证明的决定的情况下。序列的最终帖子讨论了这些和其他潜力未来工作方向为这个领域的发展奠定基础。
一般来说，Miri的研究人员对像这些这亚博体育官网样的新概念框架非常感兴趣，因为研究进展通常可以在我们使用错误的镜片中致思考问题，或者在我们缺乏对测试中的简单形式主义的情况下瓶颈。
同时，凡妮莎·科索伊和亚历克斯·阿佩尔的infra-Bayesianism是在推理者的假设空间可能不包括真实环境的情况下建模推理的一个新的框架。
这个框架之所以有趣，主要是因为它似乎适用于如此广泛的问题:不可实现性、决策理论、人择学、嵌入的能动性、反思，以及归纳/概率与演绎/逻辑的综合。凡妮莎将下贝叶斯主义描述为“打开了一条将学习理论应用于许多以前似乎与之不相容的问题的道路。”
2020年也有大的更新斯科特和艾布拉姆的"嵌入式代理，其中澄清了一些讨论，并添加了一些新的小节。此外，凡妮莎的"最优多项式时间估计:近似算法的贝叶斯概念，与亚历克斯·阿佩尔(Alex Appel)合著应用逻辑学杂志．
为了了解我们正在推进的其他一些研究领域，我们请了一些MIRI研究人员和研究助理亚博体育官网从他们过去一年的工作中挑出重点，并对他们的选择进行了评论。
Abram Demski强调了以下评论:
- ”一个反对效用函数的正统案例“ - 虽然在某种意义上这是一个小的技术点，但它在一些最近的代理基础研究中表明了一段地点，我认为这是非常重要的。”亚博体育官网
- ”激进的概率“ - ”再次，虽然人们可以看到这一点只是旧的解释逻辑归纳结果，我认为这表明了观点的重要转变。”
- ”学习规范:一个研究议程亚博体育官网-“从某种意义上说，这个研究议程阐明了上述两亚博体育官网个帖子所交流的视角的转变，虽然我还没有把所有的东西联系在一起。”
- ”荷兰语预订CDT：修订了论证-“在我看来，这是一个较大的决策理论结果。”
Evan Hubinger总结了他过去一年的公共研究:亚博体育官网
- ”概述建设安全高级AI的11个建议-“这可能是我今年最大的项目，这篇论文是我试图统一解释目前主要的领导平淡的对齐建议。”论文从外部对齐、内部对齐、培训竞争力和绩效竞争力的角度探讨了每个建议的利弊。
- “我今年开始指导亚当•什米(Adam Shimi)和马克•许(Mark Xu)，帮助他们开始开展人工智能安全方面的工作。具体的例子包括Adam Shimi的普遍性揭开和马克·徐的SGD是否产生欺骗性对齐?’”
- “我今年花了很多时间思考通过辩论安全，这就产生了两个新的备选辩论方案:ai安全通过市场制作”和“综合放大与辩论。“
- “我花了一些时间从计算复杂性的角度看不同的对齐方案，结果是‘对齐建议和复杂性类”和“弱HCH访问EXP．’
- “‘外部对准和模拟扩增'，说明了为什么模仿放大是外对齐的;”学习先验和泛化’提供了我对保罗的新“先学”方法的看法;和“澄清内部对准术语“重温来自”的术语学习优化带来的风险。“
今年早些时候，巴克·肖克斯（链接)和Evan Hubinger (链接)也出现在未来生命研究所的人工智能校准播客上。赛珍珠还在斯坦福大学做了一次演讲:我的AI安全工作的个人难题．”
最后，人类未来研究所研究员、MIRI研究员Stuart Armstrong亚博体育官网总结了他自己的研究重点:
- ”在线学习奖励功能的陷阱与DeepMind的Jan Leike、Laurent Orseau和Shane Legg合作。“这展示了智能体是如何操纵“学习”过程的，以及使学习实际上不受影响的条件，以及将受影响的学习过程转变为不受影响的过程的一些方法。”
- ”模型分解—“在这里，我认为许多AI安全问题可以归结为同一个问题:即当你从训练数据中移出分布时，如何处理所发生的事情。”我认为处理这些“模型分裂”的原则方法对于获得安全的AI是必要的，并列举了一些例子。”
- ”语法，语义和符号基础，简化-“我认为符号基础是一种实践的、必要的东西，而不是抽象的哲学概念。”
过程改进和计划
鉴于COVID-19大流行带来的不寻常情况，在2020年，MIRI决定进行各种实验，看看我们能否在伯克利办公室无法工作的情况下提高我们的研究人员的生产力。亚博体育官网在这个过程中，我们研究团队的一个相当大的子集发现了我们工作环境的良好修改，我们的亚博体育官网目标是保持和扩大。
为了应对COVID-19亚博体育官网大流行，我们的许多研究人员今年在相对农村地区的生活工作隔离小组中度过，他们发现与其他一些研究人员一起生活在更安静、密度更低的地区带来了令人惊讶的巨大好处。随着更短的反馈周期，更多的努力投入亚博体育官网到更棘手的实验中，以及更多由此产生的关键点，协调和研究在元层面上感觉更快了。正如上文所述，我们最大的这一支点偏离了2017年启动的研究方向。亚博体育官网
另外,米里员工一直在权衡成本和收益的可能外湾区好几年坐考虑住房危机和其他治理失败,当地文化的优点和缺点,尾部风险的事情恶化在未来,和其他因素．
部分出于上述考虑，部分由于我们中的许多人今年已经因COVID-19而重新安置，因此搬家更容易，MIRI正在考虑搬离伯克利。当我们权衡这些选择时，我们考虑的一个特别大的因素是，我们的研究人员是否期望位置、居住环境和工作设置感觉良好和舒适，因为我们通常期望这将导致研究进展的改善。亚博体育官网这一因素正越来越多地将我们引向新的领域。
MIRI的许多人在过去注意到，有一些特定的社会环境，比如小型有效的利他主义或联合研究活动，似乎能激发出异常高密度的、异常富有成效的对话。亚博体育官网这种静修所的能量和活力多半源于它们的新颖性和时限性。然而，我们怀疑这并不是这些事件趋于密集和高效的唯一原因，我们相信我们可以每天创造一个具有这些功能的空间。
今年，我们的一些研究人员确实感到，我们在大流行期间的新亚博体育官网工作架构具有很大的这种质量。因此，我们非常渴望看到我们是否可以修改MIRI作为一个工作场所，以保持这个功能，或进一步扩大它。
那么，我们这一年的特点是，我们对研究实践的想法发生了一些重大转变，哪些研究方向最有前途。亚博体育官网
尽管我们对最近在了解如何调整agi级优化方面取得的具体进展感到失望，但我们计划继续利用MIRI强大的人才储备和在调整方面积累的思考，以寻找新的更好的前进道路。随着计划的巩固，我们将提供更多关于新战略的更新。
