2014年1月16日，MIRI与霍尔顿·卡诺夫斯基会面，讨论存在风险策略。参与者:
- 以利以谢Yudkowsky(亚博体育官网MIRI研究员)
- 路加福音Muehlhauser(MIRI执行董事)
- 霍尔顿·卡诺夫斯基(Holden Karnofsky)GiveWell)
我们对谈话内容进行了录音和转录，然后对录音进行了编辑和改写，以保持清晰、简洁，并保护一些内容的隐私。全文如下在这里(41页)。
以下是Karnofsky撰写的对话摘要，然后由Muehlhauser和Yudkowsky编辑。以下是Karnofsky挑选的对话要点。
参见MIRI和Holden Karnofsky之前的三个对话:on米里策略,在透明的研究分析亚博体育官网,在主要材料的影响。
总结
页1 - 5:
定义一些基本的术语，如“长远考虑主导效用”的假设(“N生命”假设)。为了论证，霍尔顿暂时接受了这一假设。
5 - 9页:
关于恒星殖民之路的讨论可能会结束。
关于“存在风险”这个术语的定义一直存在很大的混淆。进入对话后，霍尔顿将这个术语解释为“会直接或或多或少立即消灭人类的事件的风险”，而以利以谢和路加想用它来表示任何导致人类大大低于其潜能的事情，包括从来没有成功过的路径，例如太空殖民。这种混淆占据了1-9页的大部分篇幅，在8-9页澄清了这一点。
第四页:
关于恒星殖民之路的进一步讨论可能会结束。除了围绕人工通用智能的动态变化，没有太多明确和重大的分歧。
14 - 19页:
霍尔顿认为，强调“行善而不担心其与遥远未来的联系”似乎是改善遥远未来的最好方法。与此同时，他认为全球灾难性风险很可能是慈善事业的一个有前途的领域，并认为GiveWell很可能会提出相关建议。
霍尔顿认为，许多支持关注全球灾难性风险的观点都是“出于错误的原因而正确的”，只关注Pascal Mugging类型的观点，而没有充分解决这些风险是否被忽视的问题，以及与其他领域相比，这些风险是如何被忽视的问题。以利以谢和路加同意，解决这个问题是至关重要的(尽管他们相信，他们强调的有前途的领域被忽视了，足以证明这一点)。
霍尔顿想要在确信这些领域相对被忽视之前做更多的调查，但他目前的猜测是它们确实被忽视了。他在一定程度上讨论了为什么GiveWell之前没有关注它们，尽管他怀疑这一点。
页面19-27:
Holden认为向AMF (a)捐款可以通过多种方式使世界对灾难更加鲁棒，如果“对灾难的鲁棒性”真的是最重要的标准的话;(二)如果这项标准并非如此重要，而我们识别长远的主要风险因素的能力基本为零，那是一件好事;(c)帮助GiveWell走上了具有影响力并能够在其他领域开展工作的道路。他相信,好做的数量(a)方面相对小数量的影响人类的未来,人们像以利以谢和卢克寻求,那些认为自己可以有一个很大的影响人类的未来有理由去追求其他的机会,但是一个捐赠者(尤其是GiveWell历史上的目标个体捐赠者)能做的和路加福音和以利以谢福音想要做的一样好并不明显。
埃利泽和卢克同意，做“正常的好东西”有良好的记录，可能在短期内产生重大的商品，但他们担心，相对于人工智能安全性/友好性的研究，更快的经济增长加速了人工智能能力的研究，亚博体育官网因为前者比后者更容易在多个研究人员和资金来源之间并行。亚博体育官网如果在友善之前发现了比人类更聪明的人工智能，他们预计会有一场全球灾难。因此，从长远来看，更快的经济增长可能是完全不利的。但是，他们对这一争论的迹象比他们对情报爆炸以及能力和价值观的正交性更不确定。
页面28-32:
Holden和Luke/Eliezer之间的分歧很可能归结为他们在AI风险的具体动态上的分歧。霍尔顿认为“天文浪费”的文章被误导性地引用了，认为人们应该直接关注降低x风险的工作，而不是其他原因;以利以谢觉得这篇文章没有说错什么，只是在这一点上被曲解了。
32 - 35页:
讨论如何处理这样一种情况世界上有多种模式可能是正确的，其中一些涉及的公用事业比其他的高得多。是否要进行一个简单的期望值计算，这意味着让模型中较大的数字占主导地位?还是“根据可能性的比例给予每个模型选票/资源”?每一个有原则/明确的答案似乎都有问题。Holden, Luke和Eliezer同意“用小概率乘以大效用”的方法不是最优的。
页面35-39:
关于人类最终殖民恒星的可能性的讨论。路加和以利以谢认为这是一个默认的结果如果事情继续发展得比较好;霍尔顿的印象是，情况并非如此，但他并没有想太多。讨论了更新这一问题的可能性。
页面39-45:
关于“让N个原本不存在的未来生命存在”的讨论，其价值应该至少是“今天拯救1条生命”的10%*N倍。霍尔顿在这个问题上有很高的不确定性，比以利以谢和路加更甚。他比以利以谢和路加更不信任思想实验的方法论。
霍尔顿挑选的一些亮点
霍尔顿是的，我同意。我认为你需要一个所有可能具有高度破坏性的东西的列表你需要考虑它们所有的风险，你需要考虑它们所有的可能性，我真的不确定这里还有什么。
路加福音我想，对于未来，我们也可能在什么是可以解决的，什么是不能解决的问题上存在分歧。
霍尔顿是的，我想这是我们的主要分歧。
路加福音因为我认为我们列了一个清单，我们认为我们对清单上的项目了解一些，因此我们可以弄清楚哪些项目需要更多的关注。
霍尔顿嗯，不，我同意你刚才所说的，正如所说的，但我只是认为你比我更自信。我也相信我们可以列一个清单的东西比其他事情更有可能是破坏性的,然后我们应该去看看他们,关注他们,但我只是认为你们更有信心在你的观点是什么东西。我的感觉是这样的:我的感觉基本上就是我们知道的很少。保持这种(上升趋势)非常重要。这不是我们应该忽视或忽视的事情。所以一般来说帮助别人是好的，这就是我们如何达到我们现在所达到的，人们只是做了一些好的事情，而没有想象他们要去做什么。
把事情的发展过程可视化的记录是非常糟糕的。做好事的记录是非常好的。所以我认为我们应该做一些好事，我还认为我们应该列出我们认为在遥远的未来或仅仅与遥远的未来有关的事情，这些事情特别重要。我觉得我们应该把他们都查一遍。另一点值得注意的是，我的工作和你们的不同。你们所在的组织是一个专门的组织，是一个知识生产的组织。我的工作很明确，很宽泛。我的工作基本上是能够给一个慈善家提供建议，我希望能够做的一部分就是能够谈论很多不同的选择，了解很多不同的事情。我不认为这是我工作的好方法，只是选择最高期望值然后把所有的鸡蛋放在那个篮子里。但也许这对很多人来说都是一份好工作，只是不适合那些明显以知识广博为增值的人。
所以部分原因在于角色，但我确实认为你们更有自信了。我的观点是，我们应该把我们认为我们知道的事情列出来，我们应该着手做些什么。与此同时，我们也应该做一些好的事情，因为做好的事情比做那些被高度规划好的事情有更好的记录让我们更接近殖民星球。
以利以谢:所以,如果我想通过你的意识形态的图灵测试,我就会说一些的混合物”我们不能实际模型奇怪的东西,人们要做的就是让我们,我们好,它可能需要我们银河系,“会的东西…
霍尔顿你只需要稍微稀释一点。
以利以谢:当然，所以:“就我们可能到达银河系而言，很有可能人们只是想做好事，所以只要努力做好事就能到达那里。”
霍尔顿对，尤其是那些只是把做好事作为近似目标，然后以难以预见的方式产生文明后果的人，我对那些感觉很大的做好事的机会特别感兴趣。即使机遇对大的定义不同，就像一种帮助很多动物的方式。这是一种帮助很多非洲人，帮助很多美国人的方式。这些都是，在绝对意义上，它们似乎不太可能在同一个范围内，但在某种市场效率意义上，它们在同一个范围内。这是:哇，我不是每天都能看到这么好的东西，大多数东西都是好的，别人抢了，让我拿这个，因为这是一种可以像蒸汽机一样的东西，它就像，这东西很酷，我造的。这是超级酷。然后它会对文明产生影响。
以利以谢所以，如果你被任命为世界经济沙皇，为了了解你认为地球上最理想的资源分配应该是什么，你就会形成一种危险的思考反事实的方式，或者更好的说法是:在你开始尝试资助生物恐怖、纳米技术和人工智能风险类型的东西之前，你需要多少个人控制资金?不一定是当前的任何组织，但在你开始尝试做些什么之前?
霍尔顿我的意思是，比Good Ventures要少。
以利以谢:有趣。
霍尔顿例如，我想我们可能会做些什么。但这取决于。我们想继续调查。这部分我没有所有的信息和你们我不可能有信息,但我认为很多人在你的社区没有信息和帕斯卡mugging-type论证后得出结论,他们应该被更多的批评,而且对研究世界更感兴趣。所以我的答案是:我们仍然在关注这些东西，但我的观点是，不，存在风险是一个伟大的机会。那里几乎没有足够的资金。
* * *
霍尔顿不管怎样，这是题外话。我认为你们更倾向于认为自己很了解问题不仅了解问题是什么，还了解谁在研究什么相信忽视x风险是你们对x风险感兴趣的很大一部分。我认为有很多人很快就相信x风险是最重要的，我不相信他们已经走出去，看看这个世界，看到什么被忽视了，什么没有被忽视。我觉得他们是在模仿帕斯卡的抢劫手法。但是我很高兴与你们就说我不了解什么是被忽视的,什么不是,我认为存在风险看起来很忽视,初步,但我想看看更多的事情之前我真的决定如何被忽视,还有什么可能更被忽视。你同意我的观点吗忽视x风险是你认为这是一件好事的主要原因?
路加福音我想对我来说是。
以利以谢:我想我想说的是，有一些特别大的x风险看起来被忽视了，这意味着你从它们身上获得了很大的边际杠杆作用。但即使这样也不能真正支持这个论点。
霍尔顿但是如果你读过“天文上的浪费”，它得出的结论是x-risk是需要研究的东西，而没有讨论它是否被忽视，我认为这是大多数人遵循的推理链。我认为这是错误的。
以利以谢是啊，那不可能是对的。或者一个理智的地球在所有的慈善机构中都有某种分配。当资产低于其配置时，你会从投资中获益，如果超过配置，你就会把钱投到别的地方。我们可以对x-risk进行一些投资，比如我们的下一笔投资应该是针对疟疾基金会之类的。虽然这仍然是不对的，因为这是一个更好的论点因为GiveWell确实说过反对疟疾基金会暂时过度投资了，让我们看看他们能做什么用他们现有的资金流入。
路加福音:虽然不一定是相对于目前世界上的分配!
霍尔顿:是的,当然。
* * *
霍尔顿:是啊。好吧。我认为我们有一些分歧，我认为不是很大的分歧，我认为它们主要与我们有多自信有关。我想我们都同意，有很多事情是重要的，我们同意，被忽视是使一项事业好的一部分。如果还有其他真正重要但被忽视的原因，那也是好的。我们同意,一切是好的有一定的价值,但我认为事情好有更多的价值相对于的事情似乎适合长期计划,有很多与我的感觉如何自信我们可以长期计划。
以利以谢我提出CFAR的理由是这样的。为什么,在某种程度上,我在实践中,我的努力分为米里CFAR,是这样的,除了不管发生什么,我希望因果通路银河殖民下的“和其他奇怪的事情发生了一件奇怪的事情可能阻止你这样做”的道路。
我认为人类殖民银河系的可能性几乎为零。
霍尔顿对，你认为它会像人类一样。
以利以谢:我希望他们开心,他们有一个大的,复杂的文明,是一个连续的继承从人类价值观,因为我觉得有趣的是,在人类中存在一个概念,也许某种程度,其他哺乳动物,但不是在岩石中。所以你不是免费得到的，你不会想看到星系最终变成回形针之类的东西。但是:“人道的”生活可能是一个更好的术语。
霍尔顿:当然,当然。
以利以谢我认为在这个过程中会发生奇怪的事情和奇怪的紧急情况。CFAR可以被认为是一种广义的奇怪的紧急事件处理器。
霍尔顿有很多奇怪的紧急事件处理人员。
路加福音是的，你可以通过预测市场标准之类的东西来改善世界上的决策过程。
霍尔顿也就是让人们更富有、更幸福。
以利以谢:由于明显的原因，预测标志在x风险方面有一些麻烦，比如在大多数有趣的情况下，市场不能回报。
霍尔顿我认为你可以通过使人类更富有、更幸福而使人类更聪明。到目前为止，似乎确实是这样。
以利以谢是的，智力提高呢?
霍尔顿是啊，那也是。但那更遥远，更具体，更有推测性。我认为，作为一个生态系统，世界确实变得更聪明了。亚博体育苹果app官方下载我不是指平均智商。我认为生态系统会变得更聪明。亚博体育苹果app官方下载如果你相信MIRI是如此重要，我认为MIRI的存在就是对这一点的证明，因为我认为MIRI的存在是由大量的财富和经济发展而成为可能的，当然这对GiveWell来说是正确的。如果你把我的卵子追溯到20年前，我能做出这种事的几率就会低得多。
以利以谢: CFAR，从我的角度来看，这有点像:概括处理像MIRI这样的奇怪紧急情况所需的技能，并让他们在任何其他奇怪的事情发生时陪伴在身边。
霍尔顿我认为世界生态系统在处理这类突发事件方面做得越亚博体育苹果app官方下载来越好了。我认为，如果你想重视cfar，那么我认为这就是证据，如果你不想重视cfar，那么我认为还有其他证据。有更多的非营利组织处理随机的事情，因为我们有更多的钱。
以利以谢我不确定我们处理突发事件的能力是否已经提高了。核武器是一种典型的奇怪的紧急情况实际上是由一个孤独的天才人物来处理的他看到了它的到来并试图动员人们的努力等等，我说的是Leó Szilárd。有一封写给罗斯福总统的信，是爱因斯坦写的，只不过不是爱因斯坦写的。它是由某人代写的，因为Leó Szilárd让他们这么做，然后爱因斯坦把它寄了出去。有一个关于对话的著名故事Leó Szilárd向爱因斯坦解释了临界裂变链式反应爱因斯坦说"我从没想过这个"然后是曼哈顿计划，政府动用了大量的力量来解决这个问题。
所以我的印象是，如果类似的事情再次发生，现代爱因斯坦的信不会被奥巴马读到。我的印象是我们在这方面变得更糟了。
霍尔顿我不同意。
路加福音:以利以谢，你为什么这么想?
霍尔顿你也在指向一个非常具体的路径。我也在思考这些天来所有处理随机事物的机构。所有拥有知识自由和财务自由的人，去思考这些东西，而不仅仅是这些东西，我们没有考虑的其他东西，它们可能会变得更重要。
以利以谢例如，我们似乎在裁减前苏联共和国的核武器方面做得不是很好。
霍尔顿我们也在谈论对随机事物的随机反应。我认为我们只是有更大程度的社会能力去注意和思考随机的事物。
以利以谢这完全是我对先验的期望，我只是想知道我们是否能看到证据证明它是真的。关于前科，我同意这是意料之中的。
以利以谢我们可能会比20世纪40年代更糟，然而，不断增长的发展仍然可以提高我们处理奇怪事物的能力。我想我同意这一点。我想我也同意，在其他一切都平等的情况下，随着社会变得更加富裕，有更多的非营利组织，有更多的空间来处理奇怪的事情。
霍尔顿是的，随着我们解决的问题越来越多，人们的名单也越来越多，所以我认为如果不是因为非洲的健康问题，比尔·盖茨可能正在从事(GCRs)工作，或者他可能在从事其他与全球文明有关的工作。所以当我坐在这里不知道该做什么，不觉得自己在各种投机领域受到了很好的教育，但知道我可以挽救一些生命，这是另一个原因。
但这就像:捐赠给AMF的案例，除了它帮助GiveWell的方式，绝对是在一个我感觉不是很强大，不是很重要的世界里(相对于以利以谢和路加预想的世界)。我觉得，你知道，我要做(相对少量的)好事，这就是我正在努力做的。
所以在某种意义上,当你说,AMF不像故事中一个球员,我认为这是完全公平,但也试图采取许多捐助者尝试这么多(少量),试图帮助他们,我们希望得到自己的故事,也是一个球员如果故事中的玩家概念是有意义的。如果不是这样，而这(少量的好处)最终变成了真正的好处，我们至少已经做到了。
以利以谢:明显的东西,我可能会认为霍尔顿相信,但我不确定,实际上通过你的意识形态图灵测试是集体,集体解决这个东西,就像一个大的球员比集体的人离开并尝试修复奇怪的事情,他们认为未来的命运将取决于。
霍尔顿我只是觉得你刚才说的有可能是真的，也有可能不是。如果我坐在这里，什么都不懂，我想做点好事，我觉得做点好事总比瞎猜一件我不了解的事要好。另一方面，我们在GiveWell的理想是真正做到两面兼顾。
* * *
以利以谢我们是否认为造成分歧的充分必要原因仅仅是我们对人工智能的想象?
霍尔顿我认为这是可能的。
以利以谢如果你的人工智能是如何神奇地工作的，立即切换到Eliezer Yudkowsky的人工智能是如何工作的。我的意思是，埃利泽·尤多科夫斯基，鉴于对GiveWell突然的神奇控制，不仅仅是关于x风险。以利以谢把它放在了一个有三步深的链接上，试图增加流入的有效利他主义者的流向。
…
霍尔顿我认为这是很有可能的，我只是想把你们的想法和我对x风险的一般观点进行对比，我和很多人都说过，x风险显然是最重要的东西。你为什么这么想?你读过《天文浪费》吗好吧，这有点荒谬。你有一篇文章，没有讨论是否有些东西被忽视，总结什么是最重要的，我们甚至没有谈论人工智能和通向人工智能的路径，以及为什么人工智能，它只是x风险，(人们解释为)小行星，别这样。
以利以谢我同意你的反对意见。我们也许可以发表某种联合声明，如果你想的话，通知人们。
霍尔顿:是的,也许。我本来想写点关于这个的东西，所以也许我可以和你们商量一下。从某种程度上说，我被称为“x风险巨魔先生”，或者别的什么，这是因为这些都是我经常遇到的争论。当我想到你们的时候，我觉得我们在人工智能上的看法不一致，这又回到了我们上次的谈话，这可能是很多原因。与此同时，我们当然可以在这方面投入一些资源。
* * *
以利以谢:好吧，我查了"天文废物"那篇论文里面的内容似乎都是正确的，但我能理解，回想起来，我们现在都希望，有一条警告加了进来"在关于现在该怎么做的辩论中，但这并不意味着明确关注x风险的慈善机构是最大化成功可能性的最佳方式。”
霍尔顿对，事实上，这并没有告诉我们太多。这可能是一个有用的框架，也可能是一个无用的框架。还有很多东西没有得到解答，然而这篇文章的结论是:我们已经把范围从很多缩小到了一点点。
以利以谢我不记得那篇文章里有这个。这就像是，这是我们在行为中做出选择的标准，在我的道德框架中，这显然是正确的。
霍尔顿我也不同意，也许这是下一个话题。
以利以谢:是啊。假设你接受了"好结果的最大概率"不是世界如何运转的因果模型，而是作为一种决定性的伦理标准。你所做的一切会改变吗?
霍尔顿我考虑过这个问题，也许没有我应该考虑的那么努力。我不认为会有什么变化。我想我对直接的、短期的痛苦不太感兴趣。但我不太确定。事实上，我想我现在已经很好了。我想五年前，我不会有太大改变。我想现在我会，因为我觉得我们正在更好地定位目标，我想我会更有信心瞄准极限人工智能和遥远的未来等等。我认为最重要的是，但我不认为这是一个巨大的改变。
* * *
霍尔顿:我只是认为还有一个机会,这个论点是废话…所以有一个家伙(GiveWell)绝对是代表更认为我们不会有任何因果影响这一切远未来的东西和现在有苦难,我们应该处理它,我把一些体重这一观点。我不像你在期望值框架中那样做，在这个框架中，我们可以拯救N个生命在这个框架中，我们可以拯救Q个生命它们有非常不同的世界模型。所以说N活的人赢了因为N比q大很多，我不这么计算。我更接近相等的重量。
以利以谢是的，你将会有困难把它建立在一个坚实的认知基础上，但是尼克·博斯特罗姆做了一些他所谓的议会决策模型的工作。我不知道尼克·博斯特罗姆会支持他们的扩展,这种情况下,但叙述地,似乎很多我们要做的是有点像不同的事情我们认为可能是真的会声音比例如何真正的他们,然后与对方谈判。这有一个优势，是强大的Pascal的mugging类型的东西，我想再次声明的历史记录:我发明了这个术语，而不是你应该做的事情!所以无论如何，它对帕斯卡劫案类型的东西是可靠的，而且它的缺点是似乎不符合“如果每个人都做了什么”的测试。
* * *
霍尔顿让我退一步说。我听到了你的说法，我认为我们有很高的可能性——如果我们生存下来的话——可以殖民其他星球。我相信这是聪明的技术人员不会同意的。我已经概述了为什么我认为他们不会同意它，但并没有做得很好，这是我愿意更多地思考和讨论的事情。
以利以谢除了费米悖论之外，还有其他原因吗?
霍尔顿我不知道所有的原因是什么。我给人的印象很松散，我也没有仔细研究过，因为我真的不认为有其他人站在另一边。
