理查德·沃特斯写过故事关于miri和其他人金融时报，这也放下了尼克博斯特罗姆的超明在它的顶部夏季科学阅读列表。
这是一篇好文章。你先去读一下，然后再回来，这样我就可以澄清一下。
1.比人类的智慧可能不会“很快”。
“电脑将很快变得比我们更聪明，”故事开始了，但我认识的专家中很少有人认为这是可能的。
一种最近的调查随着他们在哪一年分配10％/ 50％/ 90％的人级AI的几率，要求世界顶级生活AI科学家（阿卡美国国际集团）假设科学进步并未严重扰乱。10％的AGI机会的中位数回复是2024年，有50％的机会，它是2050年，而且为2070年的机会是2070年。所以虽然AI科学家认为这是可能的我们可能很快得到AGI，他们在很大程度上预计AGI是一个问题第二本世纪的一半。
此外，许多专门思考AGI安全的人实际认为AGI是进一步比最常被引用的人工智能科学家更容易受到影响。例如，相对于被调查的人工智能科学家，我和尼克·博斯特罗姆(Nick Bostrom)都认为未来几年的可能性更大。我们今天提倡在AGI安全挑战上做更多的工作，不是因为我们认为AGI可能在未来10年或20年，而是因为AGI安全看起来是一个非常困难的挑战- 比管理气候变化更具挑战性，例如 - 需要几十年的谨慎准备。
气候变化和人工智能带来的最大风险还需要几十年的时间，但数千名聪明的研究人员和决策者已经在努力了解和减缓气候变化，只有少数人在研究先进人工智能的安全挑战。亚博体育官网在目前的情况下，我们应该少一些在气候变化减缓方面的一流认知人才，多一些在AGI安全研究方面的人才。亚博体育官网
2.有多少人正在努力确保AGI对人类友好？
这FT.片刻引用我说世界中只有五个人“致力于[程序]超遥远的未来的超级智能机器，以确保AI仍然友好。”我确实说了些什么有点儿像这样，但需要澄清。
我的意思是“当你加起来的人的分数时，有大约五个人（我知道）明确对如何确保更聪明的人的问题进行技亚博体育官网术研究，即使它在根本上改善自己时也具有积极的影响。“
这些人的部分是：（a）埃莱泽Yudkowsky的大部分全职劳动，Benja Fallenstein，Nate Soares（所有在Miri）和Stuart Armstrong（牛津），加上（B）那些技术的小数人research on “Friendly AI” on the side, for example MIRI’s (unpaid)亚博体育官网研究员工。
当然,还有很多很多比这更研究者做(a)非技术播洒至安全工作,或做(b)现存亚博体育官网的或将来系统的人工智能安全技术工作,或做(c)偶尔播洒至安全技术工作完成了非常不同的概念“积极影响”或“从根本上改善本身”。亚博体育苹果app官方下载
一个AGI不一定会认为人类是“mere”的物质收藏。
文章引用了我认为“在他们的单一思想中，[AGIS]将认为他们的生物创造者是仅仅是物质的收集，等待被重新加工到他们发现更有用的东西。”
AGIs很可能拥有非常精确——并且不断改进——的现实模型(例如，通过维基百科和数百万科学论文)，所以他们不会将人类视为“仅仅”物质的集合一世做。当然，人类是物质的汇集，但我们常用于物质的收藏时特别特别。与大多数物质集合不同，我们都有通用智力和意识和技术创造力和欲望和避难，希望和恐惧等等，而且AGI将会知道这一切，它会知道岩石和建筑物和植物和植物和猴子和猴子自驾别拥有所有这些性质。
我想做的一点是，如果（例如）被编程为最大化贝壳的股价，那么它将知道所有这些关于人类，然后它只是为了最大化贝壳的股价。它恰好是这种情况，最大化贝壳股价的最佳方式是接管世界，消除对一个人实现这一目标的所有潜在威胁。事实上，只要左右任何一个AGI可以拥有的目标函数，这是一个接管世界的好主意。那是问题。
即使我们可以将自我改善的AGI编程为（说）“最大化人类幸福”，那么AGI就会在某种意义上“关心人类”，但它可能会学会（例如）最有效的方式“最大化人类幸福“在我们指定的方式是接管世界，然后用海洛因滴水将我们每个人都放在填充电池中。AGI向我们展示全文精灵的旧问题：你得到了你实际要求，不是什么你通缉。
和是的， AGI将足够聪明知道这不是我们真正想要的，特别是当我们开始抱怨填充电池时。但我们没有编程它可以做我们想要的事情。我们将其编程为“最大化人类幸福”。
麻烦的是“我们真正想要的”很难在计算机代码中指定。20世纪的哲学家甚至没有设法在较低的严格中指定它人类语言。
“用众神的智慧为单位。”
最后，文章引用了我的话:“我们是在玩弄神的智慧。”而且没有开关。”
我不应该抱怨沃特雷斯先生让我听起来如此雄辩，但我很确定我从未说过这么简洁和引用的任何东西。
当然，那里是今天开关，但可能有惯于是一个足够智能的AGI智能的关闭切换，以删除其关机机制（以便更加易于实现其编程目标）并在互联网上复制自己 - 除非，我们解决我们称之为的技术问题“易燃。“
你喜欢这个帖子吗?你可以享受我们的其他yabo app 帖子，包括：
