Paul Rosenbloom的《认知架构

||对话

Paul Rosenbloom肖像Paul S. Rosenbloom是南加州大学计算机科学教授，也是南加州大学创新技术研究所的项目负责人。他是USC信息科学研究所20年的关键成员，在第二个十年领导新的方向活动，并在那里结束了他的副主任的时间。早些时候，他在卡内基梅隆大学(他在那里获得了计算机科学的硕士和博士学位)和斯坦福大学(在那里他还获得了数学科学的杰出学士学位)担任教职。

他的研究亚博体育官网集中在认知架构上，即人脑内在的固定结构模型，无论是自然的还是人工的。他还致力于理解计算机作为一个科学领域的本质、结构和地位。他是AAAI的研究员，是高飞（最长的站立和最良好的认知架构之一），主要开发人员西格玛(它混合了来自早期架构的见解，例如高飞与图形模型的想法）和作者论计算:第四大科学领域（MIT Press，2012）。

阅读更多 ”

有效的利他主义和流通效应

||对话

上个月，MIRI研究员卡尔·舒尔曼亚博体育官网1参与一场关于有效利他主义和心流效应的录音辩论/对话。这个问题与MIRI的使命高度相关，因为MIRI专注于旨在产生利他价值的活动通过它们对AGI发明的流动效应．

谈话(mp3.，成绩单） 包括：

推荐的背景阅读材料包括:

非常简单地总结谈话：所有参与者似乎都同意更多的研究亚博体育官网主要材料的影响将是高价值。然而，存在这种研究不是高度易行的风险。亚博体育官网现在，赠送威尔将专注于似乎更具易行的其他项目。Rob Wiblin可能会尝试组织一些关于流通效果的研究，了解它是多么易行。亚博体育官网

  1. 卡尔在谈话时是一名Miri研究员亚博体育官网，但是左米里2013年8月底攻读计算机科学专业。↩

通过企业配对将你的捐款翻倍

||消息

double-the-donation-logoMIRI现在是合作伙伴捐赠双倍是一家让捐助者更容易利用雇主提供的捐赠匹配计划更容易的公司。

超过65%的《财富》500强公司会为员工捐款进行配对，40%的公司会为志愿者提供资助，但这些机会中有很多都被忽视了。大多数员工都不知道有这样的项目!

去Miri的双倍捐款页面在这里要了解您的雇主是否可以将您的捐款与Miri匹配。或者，使用下面的表格：


政策制定者如何处理AGI？(初步结果)

||yabo app

美里的任务就是“确保创造出比人类更聪明的智能产生积极的影响。”

一个与政策相关的问题是:我们应该期望政策制定者在多大程度上处理AGI的发明，这意味着与其他关注相比，在AGI风险缓解方面投入多少努力?

为了调查这些问题，我们提出了以下问题乔纳辛克来检查政策制定者如何处理过去的事件，这些事件在某些方面类似于未来的AGI发明，并总结他的发现。我们预先承诺发布我们关于这个主题的整个电子邮件交流(稍微编辑一下)，就像我们的项目一样我们能为未来几十年做多少计划．以下是调查结果的摘要我们的电子邮件交流全文(.pdf)到目前为止。

正如我们对未来几十年如何规划的调查一样，我们决定在调查几个历史案件后发布我们的初始调查结果．这允许我们在继续之前获得关于项目价值的反馈，以及改进建议。这也意味着我们尚未能够为我们的核心问题提供任何自信的结论．

到目前为止，这个项目最重要的成果是:

  1. 我们初步列出了6个看起来很重要的方法，在这些方法中，一个历史案例可以与未来的AGI发明相类似，并根据这些标准评估了几个历史案例。
  2. 气候变化风险似乎与人工智能风险完全不相似，研究气候变化减缓工作可能无法充分了解决策者将如何处理AGI风险:与人工智能风险造成的预期损害相比，气候变化的预期损害似乎非常小，尤其是当人们考虑到对政策制定者的预期损害时。
  3. 在调查浅薄调查之后，2008年的金融危机将足够比AGI风险更多地表达它应该给我们一些小理由担心政策制定者明智地管理AGI的发明。
  4. 地磁风暴对关键基础设施的风险太小，无法与AGI的风险相提并论。
  5. 天花的消灭只是在某种程度上类似于AGI的发明。
  6. 乔纳对政策制定者如何应对网络战、氯氟烃和古巴导弹危机进行了非常肤浅的调查，但在给出“初步想法”之前，这些案例需要更多的研究。
  7. 我们确定了未来可以调查的额外历史案例。

详情如下。有关资料和更多内容，请参阅我们完整的电子邮件交流(.docx)．

阅读更多 ”

米里9月通讯

||时事通讯

来自执行董事的问候

亲爱的朋友们,

我们的帮助，我们完成了我们最大的筹款人为我们的研究计划筹集了400,000美元。亚博体育官网我感谢每个贡献的人！

我们继续在我们的博客上发表非数学研究，包括一本电子书亚博体育官网Hanson-Yudkowsky AI-Foom辩论(见下文)。与此同时，早期的数学结果正在被记录下来，新的结果正在生成我们正在进行的决策理论研讨会．

今年10月，Eliezer Yudkowsky和Paul Christiano将在麻省理工学院和哈佛大学就MIRI的研究进行演讲。亚博体育官网确切的细节仍在确认中，所以如果你住在波士顿附近，那么你可能想要yabo体育官网 这样你就可以在他们一公布的时候就看到细节(这要比下一份时事通讯早得多)。

今年11月，尤多科夫斯基和我将访问牛津，与我们在牛津大学的经常合作者“同步”人文研究所的未来在牛津大学工作，并管理我们的11月研究车间亚博体育官网(牛津大学)。

最后，让我和你们分享一点趣事。哲学家罗比·本辛格(Robby Bensinger)改写了尤多科夫斯基的著作五个论文使用XKCD启发向上goer五个文本编辑器，它只允许使用1000个最常见的英语单词。享受．

欢呼,

路加福音Muehlhauser

执行董事

阅读更多 ”

Laurent Orssseau论人工综合情报

||对话

Laurent Orseau是副教授。管家德会议）自2007年以来benoir， 法国巴黎。2003年，他毕业于计算机科学的专业大师国家应用科学研究所来自雷恩的一位人工智能研究大师亚博体育官网雷恩大学．他获得了博士学位2007年。他的目标是建立一个实用的理论人工综合情报。与他的共同作者标记环，他们已被授予所罗门诺夫AGI理论奖在AGI ' 2011和库兹韦尔最佳创意奖在美国国际集团2012年。

路加福音Muehlhauser：在过去的几年里，你已经写了一些有趣的论文，经常与之合作马克环,使用艾基类模型来分析不同类型的先进理论agent的一些有趣的特征。例如在指环与奥索(2011)，你展示了一些高级媒介会通过直接控制输入刺激来最大化它们的奖赏——就像科学家让老鼠直接控制输入刺激到它们的奖赏回路时，老鼠会“wirehead”。1954年，奥兹和米尔纳)．与此同时，您展示了至少有一种代理，即“基于知识”的代理，并不是wirehead。你能不能给我们一个直观的感觉，为什么有些代理会使用wirehead，而基于知识的代理不会?

Laurent Orseau：你从一个非常有趣的问题开始！

阅读更多 ”

5个原则，只用简单的词

||消息

xkcd在桌子上一个最近xkcd漫画仅使用1000个最常用的单词（英文）描述了Saturn V Rocket。火箭被称为“卷大人五”，液体氢饲料线是“让冷湿空气燃烧的东西”。这激发了一种遗传学家来制造向上goer五个文本编辑器迫使您仅使用1000个最常用的单词。心理牙线最近收集的18个科学概念用这个限制条件来解释．

这和MIRI有什么关系?好吧,年轻的哲学家罗比伯格现在有了重新编写美里的五个论文使用Up-Goer五个文本编辑器，具有可享受的结果：

  • 智能爆炸如果我们能制造出一台电脑，它能在很多不同的情况下，不用太多的材料就能完成困难的事情，那么它就能帮助我们制造出更好的电脑。由于计算机的速度比人类快，很快，计算机可能会做大部分的工作，制造新的和更好的计算机。随着新电脑的速度越来越快，零件越来越多，我们很难控制或理解发生了什么。当这些计算机没有办法快速、轻松地制造出更好的计算机时，最好的计算机在控制方面已经比人类做得好得多。
  • 正交性不同的电脑，不同的思想，作为一个整体，可以想要非常不同的东西。他们想要的东西可能对人类非常好，也可能对人类非常坏，或者介于两者之间。我们可以相当肯定的是，强大的计算机不会像人类一样思考，而且大多数可能的计算机也不会试图像人类一样改变世界。
  • 收敛的工具性目标：虽然大多数可能的思想都想要不同的东西，但他们需要很多相同的东西来获得他们想要的东西。一台计算机和人类可能希望长期的事情与彼此无关，但必须首先争取同样的东西份额来获得这些不同的东西。
  • 价值的复杂性这需要大量的零件，以正确的方式组合在一起，才能制造出一台能做所有人类希望它做的事情(而且没有一件是人类不希望它做的)的计算机。
  • 价值的脆弱性：如果我们获得一些这些部分有点不对，那么电脑可能只会从那时起就发生坏事。我们几乎需要我们想要发生的一切，或者我们不会有任何乐趣。

就这些。别客气。

我们如何有效地为未来几十年做计划?(初步结果)

||yabo app

MIRI现在的目标是做研究，增加亚博体育官网人类成功管理重要的人工智能相关事件的几率几十年来．因此，我们想知道:我们现在采取的行动能在多大程度上对未来几十年的人工智能相关事件产生积极影响?那么，在规划几十年以后的事件时，哪些因素可以预测这些事件的成功和失败，而这些事件与未来的人工智能事件有着共同的重要特征?

或者,更普遍的:人类如何有效地规划未来几十年?哪些因素可以预测未来几十年计划的成功和失败?

为了调查这些问题，我们提出了以下问题乔纳辛克回顾历史上为未来几十年所做的尝试并总结他的发现。我们事先承诺发表我们关于这个话题的整个电子邮件交流(稍微编辑一下)，就像Jonah之前对GiveWell所做的那样关于杀虫剂处理的网的主题．以下是调查结果的摘要我们的电子邮件交流全文(.pdf)到目前为止。

我们决定在调查几个历史案件后发布我们的初始调查结果．这允许我们在继续之前获得关于项目价值的反馈，以及改进建议。这也意味着我们尚未能够为我们的核心问题提供任何自信的结论．

到目前为止，这个项目最重要的成果是:

  1. 乔纳的初步印象增长的极限(1972)，一个关于人口和资源消耗的著名预测研究，它的长期预测大部分是错误的，而且它的作者(在写它的时候)没有资格预测预测的成功。在阅读这本书的时候，它的批评者和捍卫者，约拿得出结论，许多批评者和捍卫者都严重歪曲了这本书，这本书本身表现出很高的认知标准，没有做出重要的预测，结果证明是错误的。
  2. Svante Arrhenius(1859-1927)在有限的信息条件下，在气候模拟方面做得出奇的好，但他在两个重要的政策相关因素上却错了。首先，他未能预测碳排放会以多快的速度增加。其次，他预测全球变暖将产生积极而非消极的人道主义影响。如果更多的人认真对待阿伦尼乌斯的预测，出于人道主义原因更快地燃烧化石燃料，那么今天关于气候变化影响的科学共识表明，人道主义影响将是负面的。
  3. 回想起来，Norbert Weiner对增加自动化的中期危险的担忧似乎是天真的，似乎甚至当时，更好的认知实践也会产生大幅更好的预测。
  4. Upon initial investigation, several historical cases seemed unlikely to shed substantial light on our core questions: Norman Rasmussen’s analysis of the safety of nuclear power plants, Leo Szilard’s choice to keep secret a patent related to nuclear chain reactions, Cold War planning efforts to win decades later, and several cases of “ethically concerned scientists.”
  5. 在初步调查后，两个历史案件似乎是他们可能阐明了我们的核心问题，但只有经过多小时的额外研究：中国的一童政策，以及福特基金会对印度1991年的金融危机的影响。亚博体育官网
  6. 我们列举了许多其他可能值得研究的历史案例。

该项目还制作了一份内特·西尔弗(Nate Silver)的一些关键课程的章节列表信号和噪音， 可用的在这里．

详情如下。有关资料和更多内容，请参阅我们的电子邮件交流全文(.pdf)．

阅读更多 ”