我们如何有效地规划未来的几十年?(初步结果)

||yabo app

MIRI旨在执行研究,这提高了人亚博体育官网类成功管理重要的AI相关事件的几率几十年来.因此,我们想知道:在多大程度上可以采取行动,现在可以预测可预测对与AI相关的事件数十年的积极影响?而且,哪些因素预测规划数十年的遥远事件的成功和失败,这些事件与未来的AI活动共享重要功能?

或者,更一般:人类如何有效地计划未来几十年?哪些因素预测未来数十年的成功和失败?

要调查这些问题,我们问道乔纳辛克检查历史尝试计划未来几十年并总结他的调查结果。我们预先致力于在主题上发布我们的整个电子邮件交换(具有次要编辑),就像乔纳以前使用过的赠品关于驱虫蚊帐的问题.下面的文章是对调查结果的总结我们的全额电子邮件交换(.pdf)迄今为止。

我们决定在调查几个历史案件后发布我们的初始调查结果.这允许我们在继续之前获得关于项目价值的反馈,以及改进的建议。这也意味着对于我们的核心问题,我们还不能得出任何有信心的结论

迄今为止,该项目最重要的成果是:

  1. 乔纳的初步印象增长的极限(1972年)是一个着名的人口和资源枯竭的预测研究,是其长期预测主要是错误的,而且其作者(在撰写本文时)并没有预测预测成功的凭据。阅读书籍后,其批评者及其捍卫者乔纳得出结论,许多批评者和辩护人严重歪曲了这本书,而书本本身表现出高的认知标准,并没有做出错误的预测结果。
  2. 斯万特·阿伦尼乌斯(Svante Arrhenius, 1859-1927)在有限的可用信息下,在气候建模方面做得出奇地好,但他在两个重要的政策相关因素上却错了。首先,他没能预测到碳排放的增长速度。其次,他预测全球变暖将产生积极而非消极的人道主义影响。如果更多的人认真对待阿伦尼乌斯的预测,并出于人道主义原因更快地燃烧化石燃料,那么今天关于气候变化影响的科学共识表明,人道主义影响将是负面的。
  3. 回想起来,Norbert Weiner对增加自动化的中期危险的担忧似乎是天真的,似乎甚至当时,更好的认知实践也会产生大幅更好的预测。
  4. Upon initial investigation, several historical cases seemed unlikely to shed substantial light on our core questions: Norman Rasmussen’s analysis of the safety of nuclear power plants, Leo Szilard’s choice to keep secret a patent related to nuclear chain reactions, Cold War planning efforts to win decades later, and several cases of “ethically concerned scientists.”
  5. 在初步调查后,两个历史案件似乎是他们可能揭示了我们的核心问题,但只有在他们每个人的许多时间进行额外的研究:中国的单亲政策,以及福特基金会对印度的1991年金融危机的影响。亚博体育官网
  6. 我们列出了许多可能值得调查的其他历史案例。

该项目还制作了Nate Silver's的一些关键课程的章节列表信号和噪音, 可用的这里

下文详细说明。有关资源和更多内容,请参阅我们的全额电子邮件交换(.pdf)

增长的极限

乍一看的极限增长(1972年),乔纳指出,在撰写本文时(最古老的是31岁),作者在撰写(最古老的是)的情况下,他们缺乏长期预测的资格。而且,它似乎增长限制预测了一种世界末日情景 -埃尔希希《人口爆炸(1968) - 未能发生。特别是,它似乎增长限制未能欣赏朱利安西蒙他的观点是,其他资源将取代耗尽的资源。

读了这本书后,约拿发现:

  • 这本书避免强大,无条件索赔。它的核心声明是如果资源使用呈指数级增长,然后2100可能会有社会崩溃。
  • 这本书谨慎地对其主张进行了限定,并达到了很高的认识论标准。约拿写道:“即使回想起来,这本书看起来也不幼稚,考虑到它是在40年前写的,这一点令人印象深刻。”
  • 作者在第4章中讨论了长度的可替代性。
  • 这本书在理论层面上讨论了缓解,但没有给出明确的政策建议,可能是因为涉及的问题太复杂了。

Svante Arrhenius

衍生了多世纪前,Svante Arrhenius“地球的温度如何随着二氧化碳浓度的函数而变化的等式是今天使用的相同等式。但是,虽然鉴于当时对他的信息令人印象深刻,但他未能预测(通过大幅度),但虽然燃烧了化石燃料的速度,但他未能预测。他还预测,全球变暖将具有积极的人道主义效应,但基于我们目前的理解,预期的人道主义效应似乎是消极的。

阿伦尼乌斯的预测在当时大多被忽视,但如果人们认真对待这些预测,并更快地燃烧化石燃料,其人道主义影响可能会是负面的。

诺伯特韦纳

约拿解释说,诺伯特韦纳(1894-1964)“认为除非采取对策,除非采取对策,否则自动化将使低技能工人失业。他相信这将沉淀出的经济危机比大萧条更糟糕。“他去世近50年后,这似乎没有发生过很多,虽然它可能最终发生。

乔纳的印象是,Weiner对这个问题有着强烈的看法,似乎并不是为了回应来的证据而更新,似乎已经依赖于什么柏林(1953)Tetlock(2005)描述为“刺猬”思维:“狐狸知道很多事情,但刺猬知道一件大事。”

一些历史案例似乎不太可能阐明我们的问题

拉斯穆森(1975)是核电站的概率风险评估,在任何核电厂灾害发生之前写的。However, Jonah concluded that this historical case wasn’t very relevant to our specific questions about taking actions useful for decades-distant AI outcomes, in part because the issue is highly domain specific, and because the report makes a large number of small predictions rather than a few salient predictions.

1936年,莱昂Szilárd.授予了他的连锁反应专利,以确保对纳粹保密。然而,约拿得出的结论:

我认为这不是一个不平凡的未来预测的好例子。破坏性的潜力似乎很明显——任何产生大量集中能量的东西都可以被用于破坏性的方式。至于纳粹,西拉德本人是犹太人,他逃离了纳粹的魔掌,很明显,人们不会希望一个危险的政权获得具有破坏性的知识。如果量子力学的早期开发人员因为模糊地意识到其潜在的破坏可能性而将他们的研究保密,或者如果西拉德是在一个纳粹统治若隐若离的假想世界里秘密申请专利,那就更令人印象深刻了。亚博体育官网

Jonah简要审查了旨在赢得战争的冷战努力几十年后,但总结说,这是“太难将这些努力与战争结果相结合”。

乔纳还调查了Kaj Sotala的道德关注科学家的简史.引用的大多数历史案件似乎与该项目似乎不相关。许多案例涉及“科学家们隐瞒了他们的发现,因为他们将被用于军事目的,”但这似乎是一种越来越无关的历史案例,因为科技市场现在相对较高,并且隐瞒了延迟的发现很少progress for very long (e.g. see凯利2011年)。其他案件涉及减少威胁在宣传期间迫在眉睫的危险武器的努力。这些情况可能存在课程,但它们似乎与我们当前的项目相对较弱。

一些历史案例可能会在额外的研究中阐明我们的问题亚博体育官网

约拿对中国的影响进行了初步调查独生子女政策并得出结论,需要许多,许多小时的研究来确定符号和政策影响的严重程度。亚博体育官网

乔纳还调查了一个涉及的案件福特基金会.在与GiveWell的对话,兰特·普里切特说:

改变慈善事业的一个例子与印度从1991年的经济危机中复苏有关。其他国家以前也发生过类似的危机,未能实施本可以使它们从危机中恢复过来的良好政策。相比之下,印度实施了良好的政策,并在短时间内复苏。大多数确保印度实施政策的关键人物都受到了福特基金会(Ford Foundation)在危机发生10年前建立的一个智库的影响。该智囊团让印度人接触到发达国家有关自由化的相关理念。(a)印度经济的上升轨迹与(b)如果印度未能从1991年危机中恢复过来,其经济的上升轨迹将会是什么样子,两者之间的差异在于数万亿美元。因此,福特基金会对这个智囊团的投资产生了巨大的影响。在危机前的十年里,这个智囊团看起来没有任何影响,但结果却产生了巨大的影响。

不幸的是,约拿无法找到任何允许他检查这个故事是否真实的来源或联系人。

其他可能值得调查的历史案例

我们发现但尚未调查的历史病例包括: