与Steinhardt, Karnofsky和Amodei进行MIRI战略对话

||谈话Miri战略

2013年10月27日,Miri会见了有效的利他主义社区的三名额外成员,讨论了Miri的组织战略。参与者是:

我们记录和转录了大部分谈话内容,然后为了清晰、简洁,并保护一些内容的隐私,对文本进行了编辑和改写。全文如下在这里(62页)。

我们的谈话位于参与者之间的一些分歧;这些分歧总结如下。本摘要并不意味着以所有力量呈现参数,而是用作读者的指南,以找到有关这些分歧的更多信息。对于每个点,已经提供了页码,以便在成绩单中的讨论主题的近似开始,以及可以在文本中搜索的短语。在所有情况下,如果从事关于该具体点的讨论,参与者可能会在该话题上说出更多。

分歧摘要

第7页,从“困难在于上下文变化”开始:

  • 雅各布:统计方法可能是非常稳健的,不需要依靠强烈的假设,并且逻辑方法不太可能扩大到人级AI。
  • Eliezer: FAI将不得不依靠合法的概率推理与透明的效用函数相结合,而不是我们先前执行的行为看起来很“好”,并试图将统计保证直接应用于这一系列表面观察。

第10页,从"一个很好的具体例子"开始

  • Eliezer:考虑一个优化笑脸数量而不是人类幸福的AI,从而用笑脸铺开宇宙。此示例说明了一类令人担忧的失败模式。
  • 雅各布和达里奥:这种失效模式对我们来说似乎是不可信的。

第14页,从“我认为那样想要的人”:

  • Jacob:来自参数化族的学习实用程序函数与任意实用程序功能之间没有大的区别。
  • 埃利泽:除非“参数化”是图灵完备的,否则很难写出一组参数,让人类的“正确行为”或CEV,甚至人类的自私欲望都在假设空间内。

第16页,从"当然,但有些概念是"开始:

  • Jacob,Holden,&Dario:“Terry Schiavo是一个人”是一种自然类别。
  • 以利以谢:“特里·夏沃是一个人吗”不是一个自然的范畴。

Page 21,从“我会在两者之间走”:

  • 霍尔登:许多与FAI相关的最具挑战性的问题,如果它们确实是相关的,最好在技术发展的后期阶段得到解决,那时我们会有更先进的“工具式”AI(可能包括AGI)来帮助我们解决这些问题。
  • Eliezer:开发可能比我们想要的更快,更难控制;当我们的工具更好时,我们可能没有时间或能力在UFAI是一个问题之前进行进展;并不清楚,我们将能够开发一个非常有用的AIS,同时也是安全的。

Page 24,从“我认为您的心理模型中的差异”:

  • 雅各布和达里奥:一个“类似于神谕”的问答系统是相对可信的。亚博体育苹果app官方下载
  • 以利以谢:“像神谕一样”的问答系统真的很难。亚博体育苹果app官方下载

Page 24,从“我不知道如何构建”:

  • Jacob:人类之前水平的人工智能不会对后续人工智能的发展产生巨大影响。
  • Eliezer:建立一个非常强大的AGI涉及展开目标导向(后果)内部优化的AI。

Page 27,从“Oracle AI开始”:

  • Jacob&Dario:检查Oracle AI的内部状态不应该太难。
  • Eliezer:虽然AI进展可以是务实的或理论上的,但程序的内部状态通常是对人类不透明,并且仅在后面透明地透明。

Page 38,开始“,你相信在有”之内:

  • Eliezer:我观察到那些试图开发FAI概念的新手似乎根本不重要,或者问自己可能出现出色的想法。
  • 雅各和霍顿:这是无关紧要的问题是否在FAI装备精良的学者,因为这不是在更发达的领域的研究,而且因为攻击自己的想法不一定是研究过程不可分割的一部分与其他重要的技能。亚博体育官网

Page 40,从“这可能是真的,但某事”开始:

  • Holden:学者缺乏的主要相关特征是导致中立的。如果我们尽管如此,我们可以在FAI上工作,那么我们将有许多好FAI研究人员。亚博体育官网
  • Eliezer:个人和学术界的许多不同的事情都会出现问题,从而增加了近乎完全没有企图的缺席 - 更不用说成功的辉业研究。亚博体育官网

第53页,从"我认为最好的方法是尝试"开始

  • Holden&Dario:让人们反弹(以有用的行动)背后的安全问题相对容易。
  • Eliezer:不,这很难。

第56页,开头是"我的反应是这是错误的"

  • 雅各布和达里奥:我们应该如何向学术界提出问题?一份英文描述就足够了;学者们接受的训练是一旦他们理解了问题就将其形式化。
  • Eliezer:当有人出现谁能执行它们时,我珍惜这样的奇迹,但我不打算依靠它,当然不认为这是学术界的默认情况。因此,我认为在Miri需要削弱问题,以在他们真正养殖在任何地方养殖之前解决的问题80%或50%。

该摘要是由以下过程产生的:Jacob尝试了摘要,Eliezer认为他的观点在几点上表达了很差,并与他所提出的版本写回来。而不是试图找到两个方面的摘要,双方都会满意,雅各布与他的原始陈述粘在一起,包括Eliezer的响应,大多数是作为的,而Eliezer以后为清晰和简洁而编辑它们。然后由卢克和与所有参与者共享汇总摘要的Google Doc,卢克带来了几点以澄清每个其他参与者。摘要中的几个点也被删除,因为很难找到关于他们的措辞的共识。一旦所有参与者对Google Doc感到满意,就会出版摘要。