是什么让MIRI与众不同?

||yabo app

上周,我们收到了来自有效的利他主义者社区的几个问题,以回应我们的融资后.麦克斯韦尔弗里茨:

我对MIRI的反应通常是,“是的,人工智能是一个真正的问题。但我不知道MIRI是否是从事这项工作的合适人选,或者他们解决问题的方法是否正确。”[……我]如果你同意人工智能很重要,为什么要MIRI?

特里斯坦·塔格(Tristan Tager)还提出了两个类似的问题:

MIRI能做什么?为什么我要期待MIRI愿景和MIRI团队能把事情做好?我能期望他们做些什么呢?[...]

但第二个也是更大的问题是,什么是MIRI能做到谷歌做不到的?谷歌拥有巨额资金、富有创造力和远见的员工、世界上最好的程序员,以及一系列在一定程度上融入人工智能的成功产品——此外,他们最近收购了几家人工智能企业,并成立了一个人工智能道德委员会。他们似乎是在直接解决同一个大问题,而不是在理论上,他们有雄厚的资金、敏锐的头脑和丰富的实践经验。

这些都是很好的问题。我对“为什么是MIRI?”,简而言之,就是MIRI有一个杰出的研究团队专注于亚博体育官网基本理论研究亚博体育官网几乎没有人在追求。从长远来看,我们完全专注于将比人类更聪明的人工智能系统与人道价值观结合起来。亚博体育苹果app官方下载

大多数学者还没有研究人工智能对齐问题,也没有人全职从事这方面的工作。大多数业内人士也还没有着手解决这些问题。我知道这一点,因为我和他们中的一些人交谈过。(字段很大,但是它不是.)

学术界和行业专业人士还没有研究这些问题的原因有很多,我将依次谈到其中一些。

1.大多数人工智能科学家主要关注短期和中期。

这是有道理的:人工智能领域在过去已经不止一次因过度承诺和不兑现而遭受损失,历史表明,如果关注在未来几年内能够实现的目标,那么人工智能工作往往更容易完成。

许多人工智能科学家有动力坚持实际工作,着眼于短期,只做出现实的承诺。(这在一定程度上可以从该领域最近对“机器学习”的关注得到证明,与“过时的”人工智能领域相比,“机器学习”的关注范围更窄,也更直接。)这已经得到了回报,产业界和学术界都取得了持续的渐进式突破,产生了一些令人惊叹的新技术。然而,它也让长期考虑变得有些有害,而且“人工一般智能”近年来一直是某种禁忌的话题。这种观点正开始转变,但大多数学者仍然不愿研究与人工通用智能相关的基础问题,而更愿意研究能够提高当今实际系统能力的问题。亚博体育官网亚博体育苹果app官方下载

2.我们在解决另一种问题。

美里的方法我提到了两类不同的计算机科学问题。第一类问题涉及到如何在实践中,在合理的计算能力下,解决原则上我们知道如何做的事情。第二类问题涉及到如何在原则上做一些我们在原则上还不能做的事情。

我们目前的对齐研究方法是试图将问题从第二类转移到第一类。亚博体育官网这类研究过去在其他领域已经亚博体育官网取得了成功,在人工智能对齐的背景下,我认为它应该得到比目前更多的关注。

工业传统上最适合于第一类问题。学术界也经常关注第一类问题而不是第二类问题——尤其是在人工智能领域,原因与第一点有关。学者们通常会采取一些形式化的东西,如概率论,然后探索和扩展框架,弄清楚它在哪里适用,并开发棘手算法的实际近似,等等。而学者们却很少这样做创建即使在原则上也无法解决的问题的理论基础,这往往只发生在有人有意寻找新的理论基础的时候。基于上述原因,当涉及到人工智能对齐时,大多数学者还没有尝试这类研究。亚博体育官网

这就是MIRI带来的:对相关技术挑战的激光聚焦。

3.我们没有相互竞争的利益或优先事项。

学术研究倾向于追随亚博体育官网易驾驭性和好奇心的轮廓,无论它们可能导致什么。行业研究往往关注中亚博体育官网短期利润。目前还不清楚这两种方法是否会针对我们在《星球大战》中提出的人工智能对齐问题技术议程1

相比之下,MIRI的研究人员全职专注亚博体育官网于他们能识别的最重要的人工智能对齐问题,而不需要休息去上课,追求其他有趣的理论问题,或处理更立即有利可图或可发表的话题。我们不会为了获得拨款而转向另一套问题;当我们赢了为期三年的资助,我们不会在拨款到期后马上转向另一套问题。我们只会继续研究我们能找到的最重要的技术问题。

我们的任务是解决人工智能对齐的技术难题,我们目前的方法是专注于研究议程中列出的开放问题,不受干扰。亚博体育官网

结论是,至少在短期内,我们正在研究的具体问题的解决方案——由“即使对齐问题更简单,我们仍然无法解决什么?”最有可能来自MIRI和我们的合作者。


特里斯坦问:“有什么是MIRI能做到谷歌做不到的?”答案是:基础理论研究。亚博体育官网我经常和业内人士谈论他们正在做什么,以及我们正在做什么。一次又一次,我对我们的工作的反应是“啊,是的,这些都是非常重要的问题。我们并没有在这些方面进行研究,但似乎确实缺少一些有用的工具。如果你找到了答案,请告诉我们。”

或者,就像通常一样,我们得到的回应是“嗯,是的,这个工具确实很棒,但要得到它听起来不可能,”或者“等等,你为什么认为我们真的需要这个工具?”2无论如何,我与这三组人的对话往往以相同的方式结束:“如果你能开发它,那将是一个有用的工具;我们没有在研究这个;如果你找到了答案,请告诉我们。”

工业界有兴趣推动现代实用系统走向越来越普遍的应用。亚博体育苹果app官方下载他们专注于层级规划、持续学习和迁移学习等问题。当他们从事安全研究时(他们经常这样做!),他们研究亚博体育官网的是提高深度神经网络透明度的工具,他们研究的是改进系统的校准和降低错误率。亚博体育苹果app官方下载我们与业界人工智能科学家的关系很好,我们彼此密切关注。但在人工智能对齐研究方面,主要行业集团根本没有与MIRI竞争;亚博体育官网他们现在没有做我们这类的工作。

同样值得记住的是,MIRI研究人员往往对人工智能的时间线持不可知论的态度。亚博体育官网去年,最热门的问题是“为什么你认为你的研究很重要,当我们离比人类更聪明的人工智能如此之远,以至于不可能知道什么架构将用亚博体育官网于机器智能?”今年,最热门的问题是“谷歌显然将利用人工神经网络开发出比人类更聪明的人工智能,为什么你认为你的研究有意义?”亚博体育官网

在这两种情况下,我的回答都是相似的:我们正在开发基本的概念工具,类似于概率论,这可能会提高AGI系统跨各种不同架构的透明度、可验证性、稳定性和总体安全性。亚博体育苹果app官方下载我今天的时间表和去年差不多:我不希望在未来十年看到比人类更聪明的人工智能系统,我希望在本世纪看到它们。亚博体育苹果app官方下载在我看来,比人类更聪明的人工智能系统何时会被开发出来、如何被开发出来、由谁开发出来,都不是很明显。亚博体育苹果app官方下载

十年是一个很多在工业中,时间是永恒的。今天的行业领袖可能看起来相当强大,一些集团可能正在形成强大的领先优势。然而,我对任何一个小组都没有足够的信心,把我们所有的筹码都押在他们的成功上。

MIRI正在进行基础研究,以开发工具,帮助所有行业组织亚博体育官网设计更安全的系统。亚博体育苹果app官方下载我们的目标是让从一开始就能更容易地设计出强大而有益的通用推理器,我认为由一个公正的第三方来开发这类工具是有价值的,它要对公众而不是股东负责。


超级智能可能不会马上出现。在此期间,我们正在研究的问题与现有的工业界和学术界不同;大多数团队都不关注长期人工智能结盟问题的基础理论研究。亚博体育官网

美里。我们致力于解决的开放问题没有得到充分的服务,我们处于有利位置,可以攻克摆在面前的最关键的技术障碍。我们的希望是,众多优秀和熟练的组织也将接受这些技术挑战,我们在这些主题上的工作将帮助研究领域更快地发展。亚博体育官网我非常希望这个领域能有更多的竞争。在那之前,如果你希望至少有一个小组的任务是解决“二班“技术研究,MIRI是资亚博体育官网助的团队。


  1. 事实上,技术议程中的问题部分是选定的因为它们看起来很重要,但似乎不在默认路径上。
  2. 在人工智能科学家看来,我们的开放性问题中,哪一个能得到这三个答案之间并没有太大关联。