Miri May Newsletter:智力爆炸微观经济学和其他出版物

||时事通讯

执行主任的问候

亲爱的朋友们,

这是一个忙碌的月!

主要是,我们一直很忙出版事物。正如你在下面看到的那样,奇点的假设现已发布,它包括Miri研究人员或研究员四章。亚博体育官网我们还发表了两份新的技术报告 - 一个关于决策理论和另一个关于智力爆炸微观经济学的新技术报告 - 以及几个新的博客文章分析了与AI未来有关的各种问题。最后,我们补充说四个旧的文章到研究页面,包亚博体育官网括理想顾问理论与个人CEV(2012)。

在我们的四月通讯我们谈到了4月11日在旧金山举行的派对,庆祝我们重新成立机器智能研究所,以及我们向数学研究的过渡。亚博体育官网该事件的其他照片现在可以作为Facebook相册.我们还从活动中上传了一个视频,其中我花了2分钟的时间解释Miri的重新启动和4月研讨会的一些暂定结果。之后,访问研究员亚博体育官网乔科元花费4分钟的解释Miri的核心研究问题之一:洛地障碍到自我修改系统。亚博体育官网亚博体育苹果app官方下载

我们4月讲习班的一些研究亚博体育官网将于6月份发布,因此如果您想立即阅读这些结果,您可能会喜欢yabo体育官网 yabo体育官网

干杯!

路加福音Muehlhauser

执行董事

智力爆炸微观经济学

本月我们最大的新出版物是Yudkowsky的91页智力爆炸微观经济学(讨论这里)。在本文中,Yudkowsky采取一些初步措施,以解决情报爆炸中的关键量化问题,“认知投资的重新投资回报”:您可以从对认知的投资中获得什么样的回报,可以将其重新投资,让自己更聪明,这个过程会消失还是爆炸?这篇文章可以被认为是一个紧凑,希望更加连贯的继任者AI Foom辩论2009年,以Yudkowsky和Gmu经济学家为特色罗宾·汉森

以下是摘要:

I. J. Good关于“智能爆炸”的论点是,一个足够先进的机器智能可以制造自己的更智能版本,反过来,机器智能也可以制造自己的更智能版本,这个过程可以持续到远远超过人类智能的程度。桑德伯格(Sandberg, 2010)正确地指出,有几次尝试制定投资回报公式,以代表经济或技术增长的急剧加速,但很少有尝试正式处理i.j.古德的智力爆炸论点。

我确定关键问题回报认知再投资——投入更多计算能力、更快的计算机或改进的认知算法来产生认知劳动的能力,从而产生更大的大脑、更快的大脑或更好的思维设计。世界上有许多现象被认为与这个问题明显相关,从观察到的原始人类进化过程,到摩尔定律,到机器下棋系统的能力,等等。亚博体育苹果app官方下载我深入讨论了如何解释这些证据引发的争论。我建议,在分析情报爆炸的立场时,下一步应该是将投资回报曲线正式化,这样每一个立场都可以正式地说明它们所持有的可能的微观基础伪造通过历史观察。更一般地说,我提出了多个关于“认知再投资回报”或“智力爆炸微观经济学”的开放式问题。尽管到目前为止,这些问题还没有得到多少关注,但它们似乎与影响地球起源智慧生命结果的政策选择高度相关。

专门的邮件列表将很小,并且仅限于技术讨论者:申请它这里

何时会创建AI?

在某种程度上,智能爆炸微观经济学试图回答这样一个问题:“人类级别的人工智能自我提升到超级智能的速度有多快?”人工智能预测的另一个主要问题当然是:“我们何时才能创造出人类水平的人工智能?”

这是另一个困难的问题,卢克·穆罕普瑟在最近(并且非常详细)的博客文章中调查了这些困难:何时会创建AI?他结束了:

鉴于这些考虑因素,我认为“何时创建ale时,”何时会创造出来的问题?“是这样的:

“我们无法自信地在未来30年里进入,我们无法自信它需要超过100年,并且任何人都有信心的人假装太多了。”

“自信”是多么自信?让我们说70%。也就是说,我认为70%相信AI距离少于30多年来,我也认为70%相信AI超过100年的距离,我也认为它也是不合理的。

该声明承认我无法预测AI,但它也会将我的概率分布限制在“AI创造年份”相当多。

我认为上述考虑证明了我的概率分布上的这些约束,但我还没有详细说明我的推理。这就需要更多的分析,我无法在此陈述。但我希望我至少总结了这个主题的基本考虑,那些与我有不同概率分布的人现在可以在我这里的工作基础上尝试证明他们。

Muehlhauser还解释了以下四种方法,减少了我们的不确定性关于AI时间表:显式量化利用汇总路标未来, 和分解现象

事实证明,你可以参加在提高我们的AI预测的前两种方法中注册GMU的DAGGRE计划.Muehlhauser自己已经报名起来了。

Muehlhauser还写了一个400字的件,符合AI预测的难度石英杂志:机器人将采取我们的工作,但很难说什么时候.这是一个选择Quote:

We’ve had the computing power of a honeybee’s brain for quite a while now, but that doesn’t mean we know how to build tiny robots that fend for themselves outside the lab, find their own sources of energy, and communicate with others to build their homes in the wild.

奇点假设发表了

奇点假设:科学和哲学评估现已由施普林格出版,有精装版和电子书版。

这本书包含了20章关于机器超智能的前景,其中4章由MIRI研究人员和研究助理撰写:亚博体育官网

有关更多详细信息,请参阅博客文章

Timeless决策理论论文已发表

Alex Altair在他作为Miri研究亚博体育官网员的时间内写了一篇文章永恒的决策理论(TDT)已经发表:类newcomb问题决策算法的比较。“

Altair的文章既有精确又更加精心,也比其制定TDT比Yudkowsky的早期纸张更加精确“永恒的决策理论因此,Altair的论文应该作为哲学家、计算机科学家和数学家对TDT的一个方便的介绍,而Yudkowsky的论文仍然是任何对进一步开发TDT感兴趣的人的必读书目,因为它比Altair的论文涵盖了更多的领域。

为了温和地介绍整个规范决策理论(包括TDT),见Muehlauser和Williamson的决策理论常见问题解答

AGI影响专家和友好的AI专家

AGI影响专家和友好的AI专家,卢克·穆罕普瑟解释了这两种专家Miri希望培养。

AGI影响专家开发与预测技术发展相关的技能(例如建筑)计算模型人工智能的发展或推理智力爆炸微观经济学),预测AGI可能对社会的影响,并确定哪些干预措施最有可能增加人类安全地航对AGI创造的机会。有关概述,请参阅Bostrom&Yudkowsky(2013年)Muehlhauser&Salamon(2013)

友好的AI专家开发对数学体系结构开发有用的技能,可以使agi成为值得信赖(或“人类友好”)。这项工作是在米里研究研亚博体育官网讨会在各种出版物中,例如,Christiano等人(2013)希伯德(2013年).请注意,术语“友好的AI”被选中(部分),以避免我们理解这一主题的建议 - 这是“道德AI”的短语可能听起来像是通过寻找最多的东西在百科全书,但我们对值得信赖的AI的理解是贫穷的。

有关这些专家应该发展的更多细节,阅读博客帖子

《五纲两条引理中的使命》

Yudkowsky总结了Miri的博客帖子的研究任亚博体育官网务五个论文,两个lemmas和几个战略意义.五个论文是:

  • 智力爆炸
  • 智力和目标的正交性
  • 收敛乐器目标
  • 价值的复杂性
  • 价值的脆弱性

根据Yudkowsky的说法,这些论文意味着两个重要的lemmas:

  • 间接正规性
  • 友善的大额外难度

反过来,这两个lemmas有两个重要的战略意义:

  1. 我们有很多工作要做,如间接规范和稳定的自我改善。在这个阶段,这项工作很多看起来真正的基础 - 也就是说,我们无法描述如何使用无限计算电源来做这些东西,更不用说有限的计算能力。我们应该尽早开始这项工作,因为基础研究往往需要很多时间。亚博体育官网
  2. There needs to be a Friendly AI project that has some sort of boost over competing projects which don’t live up to a (very) high standard of Friendly AI work — a project which can successfully build a stable-goal-system self-improving AI, before a less-well-funded project hacks together a much sloppier self-improving AI. Giant supercomputers may be less important to this than being able to bring together the smartest researchers… but the required advantage cannot be left up to chance. Leaving things to default means that projects less careful about self-modification would have an advantage greater than casual altruism is likely to overcome.

有关论文和lemmas的更多详细信息,阅读博客帖子及其联系的文章。

我们的最终发明可用于预订

詹姆斯巴拉特他为《国家地理》、《探索》、《公共广播公司》和其他广播公司制作纪录片。他写了一本关于情报爆炸的精彩新书,书名为我们最后的发明:人工智能和人类时代的终结.它将在10月1日发布,是可用于在亚马逊上预订

这里有一些阅读预先复制的人的一些模糊:

“一个关于本世纪最重要话题的艰难书,可能超越 - 我们的物种是否能生存的问题。我希望这是科幻小说,但我知道这不是。“

-Jaan Tallinn,Skype的联合创始人

“人类最关键挑战的令人信服的故事。21世纪的一个沉默的春天。“

-Michael Vassar,前Miri总统

我们最后的发明是一个令人兴奋的侦探故事,也是最好的书,尚未写在21世纪最重要的问题。“

-Luke Muehlauser,Miri执行董事

“一个重要而令人不安的书。”

——休·普莱斯(huw Price),剑桥大学存在风险研究中心联合创始人

Miri需要顾问

Miri目前在广泛的科目上有几十个志愿者顾问,但我们需要更多!我们特别希望有数学逻辑,理论计算机科学,人工智能,经济学和博弈论中的其他顾问。

如果你报名,我们偶尔会向您询问您的问题,或向您发送即将推出的反馈的早期草稿。

我们并不总是希望技术建议(“嗯,您可以用相对的算术层次结构来做......”);经常,我们只是想了解不同的专家群体如何回应我们的写作(“本段的基调摩擦错误的方式,因为......”)。

即使你没有很多时间帮忙,请注册!我们当然会尊重你自己的可用性限制。

特色志愿者 - Florian Blumm

Florian Bumm一直是我们最活跃的翻译人员之一。Florian将材料从英语翻译成他的母语,德语。从历史上看一位软件工程师,他现在正在透视玻利维亚的旅行假期,通过远程合同劳动力延伸,他发现他已经有利于他为Miri志愿服务。留下作为金融服务公司Java工程师的职位后,他决定直接向某种事业做出贡献,并确定没有比人工智能的缓解存在的风险更重要了。

谢谢,御马!

加入Florian和数十个其他志愿者,访问MIRIvolunteers.org