MIRI研亚博体育官网究人员Benja Fallenstein最近在2015年3月在德克萨斯州圣安东尼奥举行的美国物理学会会议上。她的演讲是四场演讲之一人工智能特别会议．
Fallenstein的题目是“有益的比人类聪明的智慧:挑战和前进的道路”。幻灯片是可用的在这里．文摘:
今天，人类水平的机器智能仍处于未来主义的领域，但我们有充分的理由期待它最终会得到发展。通常智能代理是聪明或比人类聪明,并进一步提高自己的能力,将是一个系统,我们需要设计安全的:没有理由认为这种代理将由人类动机像一个对权力的欲望;亚博体育苹果app官方下载但几乎任何目标更容易将会见获得更多的资源,表明大部分的目标代理可能会追求,如果他们不明确地包含了人类的福祉,可能会将其与我们的利益,通过激励来获得人类目前所使用的物理资源。此外，由于我们可能试图防止这种情况的发生，这样的代理就会有动机去欺骗它的人类操作员，让他们知道它的真实意图，并抵制对其进行修改以使其更符合人类利益的干预，从而使测试和调试它的行为变得困难。这表明，为了创造一个有益的、比人类更聪明的代理，我们将需要面对三个艰巨的挑战:我们如何正式指定实际上有益的目标?我们怎样才能创造一个能够可靠地追求我们所赋予它的目标的代理呢?如果我们在初始版本中发现错误，我们如何确保代理不会试图阻止我们修改它?为了确信这样的代理会像预期的那样行动，我们不仅要有一个实际的实现来迎接这些挑战，而且要对它为什么这样做有一个坚实的理论理解。在这次演讲中，我想说的是，尽管人类水平的机器智能还不存在，但在这个领域有一些基础性的技术研究问题，我们可以而且应该从今天开始着手研究。亚博体育官网例如，概率论为表示物理环境的不确定性提供了一个原则性框架，这似乎肯定有助于未来研究有益的比人类聪明的代理，但标准概率论假定无所不知逻辑事实;迄今为止，还没有类似的原则框架来表示确定性计算输出的不确定性，尽管任何比人类更聪明的代理肯定需要处理这种类型的不确定性。我将讨论这个和其他正在进行的基础工作的例子。
加州大学伯克利分校的Stuart Russell也在这个会议上做了一个演讲人工智能的长远未来．
