最近,科学星期五(由艾拉·弗莱托主持)页面，mp3)与克里斯托弗·科赫(Christof Koch)和斯图尔特·拉塞尔(Stuart Russell)讨论机器超级智能。Christof科赫是艾伦脑科学研究所的首席科学官，还有斯图亚特·罗素是加州大学伯克利分校的计算机科学教授，也是《世界最常用的人工智能教科书．
我很高兴听到两位尊贵的嘉宾都很重视机遇和风险美国国际集团．以下是对话的部分内容:
罗素:大多数[人工智能研究亚博体育官网人员]就像来自超越］．他们只是想解决问题。他们想让机器智能化。他们正在研究下一个谜题。也有很多人在思考我们成功后会发生什么。我的书里有一章叫做“如果我们成功了怎么办?”如果我们制造出比人类聪明得多的机器，这就是Will Caster被上传后发生的事情，他有大量的计算资源来运行他的大脑，他变得比人类聪明得多。
如果发生这种情况，那么很难预测这样的系统会做什么以及如何控制它。亚博体育苹果app官方下载这有点像古老的故事，灯里的精灵或巫师的学徒。你可以实现你的三个愿望，但在所有这些故事中，这三个愿望会产生反作用，而且总有一些漏洞。精灵会把你的要求执行到极致，但它从来都不是你真正想要的。机器也是如此。如果我们问他们，“治愈病人，结束人类的痛苦”，也许结束人类痛苦的最好方法就是彻底结束人类的生命，因为这样人类就不会再遭受痛苦了。这是一个很大的漏洞。你可以想象写一部没有漏洞的税法有多难。我们试了三百年也没成功。
我们很难说出我们想要一个超级智能机器做什么，所以我们可以绝对确定结果是我们真正想要的，而不是我们说的。这就是问题。我认为我们，作为一个领域，正在发生变化，正在经历一个认识的过程，越聪明并不一定越好。我们必须变得更聪明，更有控制能力，更安全，就像核物理学家在研究链式反应时他们突然意识到，“哦，如果链式反应做得太多，就会发生核爆炸。”所以我们需要受控的连锁反应就像我们需要受控的人工智能一样。
弗拉佗所有的科学不都是这样吗?在科学史上，我们是否在谈论早期的基因工程，是否想知道一旦我们开始研究基因组会从实验室里爬出来什么?
科赫现在的不同之处在于，这种(风险)是对人类社会存在的威胁，就像我们将看到的，一旦一个核精灵从瓶子里出来，我们仍然生活在一种可能性下，即我们认识的所有人都将在20分钟内被核蘑菇消灭。现在我们有可能在接下来的50到100年里我们正在研究的这项发明可能是我们的最后一项发明正如斯图尔特所强调的那样我们的未来可能比我们想象的更暗淡。
[.．.]
弗拉佗:科学家现在有责任考虑人工智能的后果吗?研究人员正在组织、讨论、开会讨论这些事情吗?亚博体育官网
罗素:绝对的。是的。有责任，因为如果你所从事的领域的成功可能是人类历史上最大的事件，也有人预测，是人类历史上最后的事件，那么你最好承担起责任。人们在开会。事实上，我周二刚刚在巴黎组织了一场会议，正好赶上在这里举行的一场大型会议。我发现，以前从未公开表示过任何担忧的该领域的资深人士私下里认为，我们确实需要非常认真地对待这个问题，我们越早认真对待它越好。我认为核物理学家们希望他们能更早地认真对待这个问题。
弗拉佗:创造?
科赫:是的。我完全同意，斯图尔特我最近参加了一个物理学家会议，我们就什么是存在的最大威胁进行了广泛的讨论和投票。让我惊讶的是，在核战争之后，它是灰浆或人工智能失控的情况。它不是气候控制或其他一些更传统的方法。在一些专家中有很多担心，如果人工智能失控会发生什么。
[.．.]
宇宙中没有一条定律说事物局限于人类的智力水平。可能会有比我们聪明得多的实体，就像Stuart说的，我们无法预测他们的欲望，他们的动机，我们都知道软件有多糟糕。我们真的想要依靠一些标准的程序员来编写一些不会以某种方式消灭我们的程序吗?
