萨姆。哈里斯以利以谢Yudkowsky“AI:赛车向边缘”

1。情报和普遍性(0:05:26)

萨姆。哈里斯:我在这里Yudkowsky以利以谢。以利以谢、谢谢光临播客。

以利以谢Yudkowsky:你很受欢迎。很荣幸在这里。

山姆:你已经要求客人多年来。你很崇拜后,出于显而易见的原因。对于那些不熟悉你的工作,他们将理解一旦我们进入讨论事情的原因。但你也非常在线作为一个博客。我不知道你还写博客,但是我们先总结你的背景有点然后告诉人们你一直在做智力在过去的二十年左右。

以利以谢:我将描述自己是一个决策理论家。很多人会说我在人工智能,尤其是如何使足够先进的人工智能理论,做特定的事情,不要毁灭世界的副作用。我会叫它“AI对齐,”斯图尔特·罗素。

其它人会称之为“人工智能控制,”或“人工智能安全,”或“人工智能的风险,”条款,我真的很喜欢。

我也有一个重要的人类理性的艺术的副业:实现的方式反映了区域的地图并找出如何现实导航到你想要去的地方,从概率论/决策理论认知偏见的观点。我写了两三年的博客,每天一个,,收集到一本书理性,从人工智能到僵尸。

山姆:我读过,这是真的值得一读。你有一个非常清晰和格言式的写作方式;这是非常美妙的。我强烈推荐这本书。

以利以谢:谢谢你,谢谢你。

山姆:你的背景是非常规的。例如,你没有去高中,对吗?更不用说大学或研究生院。为我们的总结。

以利以谢:系统不适亚博体育苹果app官方下载合我,好,我擅长自我心理。我想当我一开始我以为我将进入进化心理学或神经学,然后我发现了概率论,统计、决策理论,专攻,越来越多。

山姆:你怎么不结束高中?那是什么决定的?

以利以谢:有点像一个精神崩溃在我青春期或像一个身体崩溃,甚至。我只是没有耐力,使其通过一天的上课时间。(笑着说)我不知道我现在想去高中,诚实。但很明显,我可以self-teach,这就是我所做的。

山姆:和你在哪里长大?

以利以谢:芝加哥,伊利诺斯州。

山姆:让我们快进到靶心的中心为您的知识生活在这里。你有一本新书,我们将讨论第二。你的新书不平衡:在哪里以及如何文明卡住。不幸的是,我只看一半,我也享受。我当然读够了,开始交谈。但我们应该从人工智能开始,因为它是一个主题,我感动很多播客中你有强烈的看法,这是真的我们如何走到一起。你和我第一次见到在波多黎各,会议,这是第一个人工智能安全/对齐的讨论,我知道。我肯定有其他人,但这是一个很有趣的聚会。

所以让我们来谈谈AI和可能的问题,我们要去哪,和近期的问题,很多人在田野,田野的外围似乎并不认真对待问题(如我们想象它)。我们先从基本的开始和定义一些术语。我想我们应该先定义“智能”,然后跳进强弱之间的差异或一般与狭窄的人工智能。你想开始我们吗?

以利以谢:确定。序言免责声明:在野外一般来说,并不是每个你问会给你同样的情报的定义。很多时候在那些情况下很高兴回到观测基础。我们知道以某种方式,人类比黑猩猩似乎更多的主管,这似乎是一个类似尺寸的黑猩猩比老鼠更能干,或者老鼠比蜘蛛更称职。人们已经尝试了各种关于这个维度的理论,他们尝试了各种定义。但如果你回到了几个世纪,问别人来定义“火”不明智的人会说:“啊,火燃素的释放。火是四大要素之一。”和真正明智的人会说,”好吧,火的那种略带橙色的明亮热东西出来沿着木木材和传播。“他们会告诉你的看起来像之前,把他们的理论的是。

那么这个神秘的东西看起来像是人类可以建造航天飞机去月球,和老鼠不能,我们认为这与我们的大脑。

山姆:是的。我认为我们可以让它更抽象。告诉我如果你认为这个不够通用领域被大多数人接受了:不管情报可能在特定情况下,一般来说这是达到目标的能力,也许是在各种各样的环境。我们可能想添加,至少是隐含在感兴趣的“智能”我们,这意味着有能力灵活,而不是死记硬背盲从一次又一次的相同的策略。这似乎是一个合理的起点吗?

以利以谢:我认为,会得到相当广泛的协议,它符合一些人工智能的教科书。

如果我可以把它远一点,开始注入自己的观点,我想说,通过优化我们的意思是“实现目标挤压测量在你可能的未来的更高偏好排序。“如果我们把所有的可能的结果,而且我们排名从你喜欢的你最喜欢的,然后当你实现你的目标,你挤压结果更高的偏好排序。你缩小结果将是更像你想要的,即使你可能无法缩小它非常准确。

的灵活性。普遍性。人类更域- - - - - -一般比老鼠。蜜蜂建造蜂巢;海狸修建水坝;人类将会在他们两人和想象honeycomb-structured大坝。在月球上我们甚至能够操作,这是非常不同于我们进化的环境。

事实上,我们唯一的竞争对手而言,一般optimization-where“优化”的缩小未来的我交谈时自然选择。自然选择海狸建造。它建立了蜜蜂。它含蓄地建造了蜘蛛网,蜘蛛的建筑。

我们人类有相似的非常广泛的处理这种巨大的各种各样的问题。和这是我们的学习能力的关键事情自然选择没有预编程序我们;所以学习是通用性的关键。在AI(我认为没有多少人会不同意这部分。)

山姆:正确的。看来目标导向行为是隐式(甚至明确)在这个情报的定义。所以任何情报,这是与世界上的各种行为导致的实现目标。所以我们谈论代理能做的事情;一旦你看到,接下来就很明显,如果我们构建系统,港口的主要目标,你知道,这里有卡通的例子亚博体育苹果app官方下载使回形针——不系统,将自发地决定,他们亚博体育苹果app官方下载可以做的事情,比(说)更加开明的回形针。

这个举动是多么陌生的人工智能的问题,因为没有自然的目标这些系统将抵达除了我们放在那里的。亚博体育苹果app官方下载我们有常识性的直觉,很难让我们思考如何奇怪的一个人工智能。甚至一个变得越来越有能力实现其目标。

让我们来谈谈在人工智能,我们从陌生的前沿。再次,我认为我们有两个定义我们应该放在这里,区分强和弱或一般和狭窄的情报。

以利以谢:区分“一般”和“狭义”我会说这一方面在理论上是一个光谱,另一方面,似乎是一个非常尖锐的黑猩猩和人类之间的通用性。

所以,广度learning-DeepMind领域驱动的广度,例如,最近AlphaGo建造,我赌输了一些钱,AlphaGo不会打败人类的冠军,它立即。然后AlphaZero的继任者。AlphaGo是专门去;那学习可以比其起点打去,但它不能学会做其他任何事。然后,他们simplif简易爆炸装置AlphaGo的体系结构。他们想出办法做的所有事情是在越来越多的通用方法。他们丢弃的开放的人类经验书去建造。他们可以抛弃所有的编程特点,检测到的特征。他们知道如何用更简单的方法,因为他们知道如何用更简单的方法,他们能够概括AlphaZero,学会了如何玩国际象棋使用相同的架构。他们把一个AI和学习去了,然后重新学习象棋。这并不是人类一般,但这是一种进步的普遍性,我们讨论。

山姆:我认为这是一个非常巨大的突破?我的意思是,这里有两件事。有程度的普遍性的一步,但是也有他们建立了一个去engine-I忘记如果是去或国际象棋这基本上超过了所有的专业AIs在这些游戏的一天。不是国际象棋引擎AlphaZero比任何专门的国际象棋计算机,并没有实现,以惊人的速度?

以利以谢:实际上有一些辩论之后的版本是否国际象棋引擎测试是真正最优。但即使在某种程度上,最好是在小范围的现有国际象棋引擎,正如组成所说,真正的故事不在AlphaGo击败人类怎样的球员。在如何AlphaZero击败人类去系统程序员和人类象棋系统程序员。亚博体育苹果app官方下载人年复一年的用心合生的所有专用会下棋和高效的代码,然后AlphaZero炸毁了(也可能是过去)在一天。如果它没有已经走了过去,就过去了如果DeepMind继续工作。虽然他们现在已经基本上宣布了胜利和关闭项目,我理解它。

山姆:所以谈论一般的区别和更狭窄的情报。我们的头脑的我们有这个特性,最明显,我们一般问题解决者。我们可以学习新事物和学习在一个领域不需要的一个基本重写代码。在一个领域我们的知识并不是那么脆弱的退化,我们在一些新领域获取知识,或者至少这不是一个一般的问题一次又一次地侵蚀我们的理解。我们还没有电脑,能做到这一点,但我们看到的迹象朝着这个方向。所以经常想象,有一种短期目标,一直给我的印象是一个可见的所谓的“人类”一般的人工智能。

我不看到这句话会意味着什么,因为所有的狭窄的AI我们建立到目前为止超人的域内的应用程序。我的电话是超人的算术的计算器。任何一般人工智能也有,我的电话计算算术将超人的能力。但我们必须假定它将超人的数十或数百个特定的人类的天赋我们投入它,无论它是面部识别或只是记忆,除非我们决定有意识地降低。访问世界的数据将被超人的,除非我们从数据孤立它。你看到这个人类的人工智能的概念作为我们发展的时间轴上的一个里程碑,或只是永远不会到达吗?

以利以谢:领域我认为很多人都会同意,人类AI,定义为“人类层面上,无论是上面还是下面,大范围的能力,”是一个稻草的目标,是一个不可能的海市蜃楼。AI现在似乎显然是愚蠢的,不如即便一般,而如果我们投入一个真实的,地方要求通用性lots-of-things-going-on上下文,然后AIs还没有真正在游戏中。人类显然遥遥领先。更有争议的是,我想说我们可以想象这样一个国家,在每一种显然遥遥领先的人工智能的认知能力,除了一些非常狭窄的那些不是深深影响别人。

喜欢,也许黑猩猩更善于用一根棍子把蚂蚁从蚂蚁蜂巢和吃它们比人类。(虽然没有人类世界冠军水平的练习。)但有一种通用的因素,“你有多擅长它当现实你抛出一个复杂的问题吗?“在这,黑猩猩比人类显然不是更好。人类显然比黑猩猩,即使你能够缩小黑猩猩的一件事是更好的。黑猩猩是擅长不扮演着重要的角色在我们的全球经济。这不是一个输入源到很多其他的东西。

有些人说这是不可能我认为他们是错的,但在我看来,这是完全一致的去想象一个AI更好比我们所有(或几乎所有),这样如果是建筑经济的投入,人类会在相同级别的输入,我们经济随着黑猩猩。

山姆:是的。你指着这是一个连续的情报,我认为大多数人永远不会思考。因为他们不认为,他们有一个默认的怀疑它的存在。这一点我知道你已经在你的写作中,我相信这是一个点,尼克·博斯特罗姆在他的书超智。这个想法,在地图上有一个巨大的空白与过去最人类辉煌的范本,我们不想像是什么样子的5倍比最聪明的人可以聪明的名字,我们甚至不知道这将包括,因为如果黑猩猩可以给想知道这就像五倍比最聪明的黑猩猩聪明,他们不会来代表自己,我们做的所有事情,他们甚至不能隐约怀孕。

有一种脱节的更多的。有一句话在军事环境中使用。引用各种归咎于斯大林和拿破仑,我认为克劳塞维茨又像六个说这句话的人。报价是,“有时数量有着自己的质量。“当你增加智力,不管它是在信息处理水平,空间的调查和意念和经验开始开放,我们不一定可以预测他们将从我们坐的地方。

你觉得这种连续的智慧超出我们目前知道的,根据我们讨论什么?

以利以谢:不可知的是一个概念,你必须非常小心。你不知道的事第一个30秒的思考有时可以算出来如果你认为另一个5分钟。特别是我认为有某一狭窄的不可预测性这似乎是可信的在某种程度上必要的,那就是人类AlphaGo比最好更好的去玩去的球员,它必须如此,最好的人类玩家无法预测哪里去董事会AlphaGo。如果他们能准确预测AlphaGo会玩,AlphaGo不会比他们聪明。

另一方面,AlphaGo的程序员和人知道AlphaGo程序员在努力做什么,或者只是看着AlphaGo玩的人,可能会说,“好吧,我认为系统是去打,这样它会赢得最后的比赛。亚博体育苹果app官方下载“即使他们不能准确预测将在黑板上。

同样,有一个(不是短,或者不一定扣篮,或不明显)链推理说它是我们可以推断一致(甚至对齐)人工总体智能足够的权力如果他们想做一件事,但是我们不一定知道。从我们的角度来看,仍然有后果,即使我们不能提前预测他们会如何做。

2。正交功能和目标在AI (0:25:21)

山姆:我认为我们应该定义一致性的概念。是什么意思“对齐”,在对齐问题?

以利以谢:这是一个大问题。而且它有一些道德和伦理方面,不一样重要的技术方面或对不起,他们不是困难技术方面。他们不能完全不重要。

但是一般来说,它是一个人工智能,你可以说这是试图做什么。有狭窄的概念定位,你想让它做一些类似治疗阿尔茨海默病不破坏世界的其余部分。还有更雄心勃勃的对齐的观念,在你想让它做正确的事,实现快乐星际文明。

但是狭窄的和雄心勃勃的对齐的共同点,你想有AI做那件事,而不是赚了很多回形针。

山姆:正确的。对于那些没有追随这谈话之前,我们应该套现这个引用“回形针”开幕式上我做了。这个思想实验与博斯特罗姆产生,还是他从别人把它?

以利以谢:据我所知,这就是我。

山姆:哦,是你,好的。

以利以谢:它仍然可以被博斯特罗姆。我问别人,“你还记得是谁吗?”,他们在档案的邮件列表,这个想法似乎起源于如果它来自那里,我是第一个说“回形针”。

山姆:好吧,然后想尽一切办法为我们请总结这个思想实验。

以利以谢:哦,原来是有人表达的情绪,“我们是谁来约束的路径的东西比我们更聪明吗?他们将来会创造一些;我们不知道它会是什么,但它将是非常值得的。我们不应该妨碍。”

背后的感情这是我有一个很大的同情。我认为世界的模型是错误的。我认为他们确实错了会发生什么当你把一个随机的人工智能,让它更大。

特别是,我说,“我担心的是,它会得到一个随机滚效用函数最大的是一种特殊的微小分子的形状看起来像一个回形针。“这是原来的回形针达到极大的场景。

它有一点扭曲的低语,为的概念:“有人构建一个回形针工厂和AI的回形针工厂接管宇宙和把一切变成回形针。“有一个可爱的网络游戏,甚至。但这仍然削减对几个关键的点。

一是:问题不在于回形针工厂AIs自发地醒来。无论第一个人工总体智能,这将是在一个研究实验室专门负责做,出于同样的原因,第一架飞机没有自发地组装在一堆垃圾。亚博体育官网

这样做的人是不会蠢到告诉他们的AI回形针,赚钱,或者结束所有的战争。这些好莱坞电影情节剧本作家,因为他们需要一个故事冲突和冲突要求有人愚蠢的故事。在谷歌的人不会傻到建立一个人工智能,告诉它回形针。

我担心的问题是,它是技术上的困难让AI有一个特定的目标,保持这一目标和实现这一目标集合在现实世界中,所以它而不是是随机的东西——例如,回形针。“回形针”是站在“东西一文不值甚至是一个人吗世界性的视角。“即使我们想要一个拥抱的很好的可能性和接受可能有我们甚至不理解的事情,如果我们理解他们理解的价值很高,回形针不是其中之一。不管多久你盯着一个回形针,它似乎仍然相当无意义的从我们的角度来看。这就是关注未来被毁了,未来的迷失。未来变成回形针。

山姆:这个思想实验:它还削减对一个假设,即足够智能系统,一个系统,是比我们更有能力在一些一般意义上,只能通过定义目标形式,或者只能由效用函数,我们会承认是伦理、或智慧,都会被定义与我们更好的利益。亚博体育苹果app官方下载我们不会构建是超人的能力,可以沿着一些路径一样不符合我们的幸福把地球上每一个多余的原子变成一个回形针。

但是你没有得到我们的常识,除非你计划到机器,你不要让完美对齐或完美的保证可订正(能力为我们能够说,“好吧,那不是我们的意思,回来”),除非这是成功构建到机器。这对齐问题——普遍担心的是,即使看似最好的目标,我们可以建造一些(尤其是在的情况下,改变——我们会讲到这一点,认为这些系统可能成为完善)的未来行为服务于特定的目标并不是由我们完全可预测的。亚博体育苹果app官方下载如果我们给它的目标治疗阿尔茨海默氏症,有很多东西是不相容的实现这一目标,其中之一是我们把它关掉。我们必须有一个机器,让我们把它关掉,尽管它的主要目的是治疗阿尔茨海默氏症。

我知道我打扰你。你想给一个例子的对齐问题,但我刚才说什么,你不同意,或者我们还在同一个地图吗?

以利以谢:我们还在同一个地图。我同意。我当然会有一个巨大的包仔细定义和解释建立在经过仔细的定义和解释你刚才说的一切。也许不是最好的,但它是。

斯图亚特·罗素所说的,“你不能把咖啡如果你死了,”他指出,如果你有足够的智能系统,其目标是带给你咖啡,甚至系统有一个隐式的策略不让你关掉它。假设你告诉它要做的是把咖啡。亚博体育苹果app官方下载

我认为很多人听可能希望我们备份和谈论的问题你是否能有这感觉他们像如此“智能”和“愚蠢”在同一类时,是一个可以实现的一个情报可以吗?

山姆:是的。这是美德或一个令人困惑的元素之一,取决于你在哪里来的这个回形针达到极大的思想实验。

以利以谢:正确的。所以,我认为对人工智能有多个故事,我认为技术的事实是不适合任何明显的叙述。例如,我认为有些人有很多的尊重智慧,他们乐于想象一个人工智能,是非常聪明的,他们似乎直观带有巨大的权力,同时,他们尊重智力的概念使他们怀疑回形针达到极大的概念:“为什么这是很聪明的事情只是回形针吗?”

有类似的另一个故事说,人工智能是无生命的,粗心大意的,只是做对,这些人是很明显,一个AI可能永远只是继续把回形针。为他们和吞咽困难的故事的一部分是机器可以得到强大的。

山姆:这是两个非常有用的类别的轻视你的论文。

以利以谢:我不会说唏嘘了。这些都是最初的反应。这些人我们没有说话。

山姆:让我重新启动。这是两个非常有用的类别怀疑关于你的论文,或者我们表达的问题,我只是想指出,都提出了这个播客。第一个是大卫•多伊奇的物理学家认为无论AI我们构建和他肯定认为我们将构建将是我们根据定义的延伸。他认为最好的类比是认为我们的未来后代。这将是我们的孩子。未来的青少年比我们可能有不同的值,但这些价值观和他们的扩散将是连续的与我们的价值观和我们的文化和我们的文化基因。不会有一些激进的不连续,我们需要担心的。所以有一个依据缺乏担忧:这是一个扩展自己将继承我们的价值观,改进我们的价值观,和没有地方达到任何一种悬崖,我们需要担心的。

刚才提出的其他non-concern Neil deGrasse Tyson表达了这个播客。他说,“好吧,如果AI开始做太多的回形针我把它拔掉,否则我会拿出一把猎枪射击”——这个东西,因为我们做到了,我们可以很容易地关闭在任何时候决定不正常工作。所以我认为这将是非常有用的让你应对这两个物种的疑问对齐的问题。

以利以谢:所以,序言的言论。一个是:“根据定义”?我们不关心从定义上就是正确的。正如爱因斯坦所说:只要数学方程的确定,他们不指现实,他们指的是现实,只要是不确定。

假设有人说,“男人的定义是致命的。苏格拉底是一个男人。因此,苏格拉底是致命的。“好吧,实际上假设苏格拉底生活了一千年。这个人说,“啊!那么,根据定义苏格拉底不是一个男人!”

同样,你可以说“定义”一个足够先进的人工智能是好的。如果不是好的,我们看到它去建立一个Dyson球吗?“啊!那么根据定义由“智能并不是我的意思。“好了,好了,但它仍然是在那里建造Dyson球。

首先我想说的是这是一个实证问题。我们有一个问题,某些类的计算系统实际上做什么当你切换。亚博体育苹果app官方下载它不能解决定义;它不能解决,如何定义“情报”。

可能会有一些先天的事实是深如果它有如何的财产一个它几乎肯定有财产B除非违反物理定律。但这不是您可以构建到你如何定义你的条件。

山姆:为了公平对待大卫·多伊奇的怀疑,我不认为他说的经验是不可能的,我们可以建立一个系统,会摧毁我们。亚博体育苹果app官方下载只是我们必须如此愚蠢地走这条道路,我们非常不可能走这条道路。有超常智慧的系统我们将构建背景将有足够的关亚博体育苹果app官方下载心他们的安全,这里没有特别关注关于如何发展。

以利以谢:第二序言,我想给何许人也?好吧,也许这听起来有点傲慢的,也许这听起来像是我想取一个优越的优势点,但尽管如此,我的说法不是有一个宏大叙事,使其情感辅音,回形针极大化者。我说这是真正的技术原因。像,这是真正的计算机科学。的问题不是这些不同的叙述似乎最有共鸣与你的灵魂。它是:会发生什么呢?你认为你知道吗?你认为你知道吗?

特定的位置,我捍卫我认为尼克Bostrom-named正交性的论文。我将短语,你可以任意强大的情报,没有缺陷的intelligence-no反射率的缺陷,它不需要在代码中一个精心制作的特殊情况,它不需要在一些非常奇怪的道路——追求任意驯良的目标。其中包括,例如,回形针。

我将把它的人最初来自第一个观点,观点方面情报和想知道为什么这个情报会做一些毫无意义的,是论文,要求我做,我要捍卫如下。

想象,有人从另一个维度的标准哲学巨魔是谁总是被称为“ω”哲学papers-comes,提供我们的文明价值一百万美元的资源/回形针,我们制造。如果这是我们的挑战,我们可以找出如何使很多回形针。我们不会忘记继续收获食物,所以我们可以继续把回形针。我们不会忘记执行科学研究,我们可以发现更好的方法使回形针。亚博体育官网我们能够想出真正有效的策略做一大堆的回形针。

或类似的,对于一个星际文明,如果ω,来自另一个维度和说,“我会给你整个宇宙资源为每一个回形针你在接下来的几千年,“星际文明可以智能地找出如何使很多回形针在那些ω提供的资源,而且他们不会忘记如何保持灯光打开。他们也理解概念,“如果外星人发动战争,你必须阻止外星人摧毁你为了继续回形针。”

正交性论文是一个情报,追求回形针为了自己的利益,因为这就是它的效用函数,可以同样有效,高效,整个星际文明支付回形针。回形针极大化者不受任何转移的反射率,任何缺陷的效率需要放在一起在一些奇怪的特殊的方式建立以追求回形针。我认为是真实的计算机科学。不拟合与特定的叙事;这是骰子的方式。

山姆:正确的。论文的含义是什么?它的“正交”关于什么?

以利以谢:情报和目标。

山姆:不迂腐,但是让我们来定义“正交”来说,这不是一个熟悉的词。

以利以谢:最初的“正交”的意思是“成直角。“如果你的想象图x轴和一个y轴,如果事情可以自由变化x轴和自由y轴在同一时间,这是正交的。你可以搬去一个方向成直角的另一个方向,而不影响你在哪里在第一维度。

山姆:所以一般来说,当我们说一些问题集是正交的,只是没有直接的含义从一个到另一个。有些人认为事实和价值是正交的。所以我们可以拥有所有的事实有了解,但这不会告诉我们什么是好。是什么好追求在其他一些领域。我不同意,如你所知,但这是一个例子。

以利以谢:在技术上我不同意。我想说的是,事实并不是激励。“你可以知道所有有知道什么是好,而且还使回形针,“是我会短语的方式。

山姆:我没有连接这个例子到现在的谈话,但是是的。所以在回形针达到极大的情况下,正交是多少?情报正交于别的我们可能认为是好的,对吧?

以利以谢:我的意思是,我可能稍微对象的方式,尼克·博斯特罗姆“正交性”这个词的论文。我认为,例如,如果你有人类你让人类更聪明,这不是正交的人类价值观。当然可能有代理等,他们会更聪明,他们会报告他们的效用函数将会改变。回形针完美主义不是一个代理,但是人类。

山姆:没错,但是如果我们继续定义情报的能力以满足你的目标,那么我们可以不可知这些目标是什么。地球上最聪明的人。你可以想象他的邪恶的兄弟是谁更聪明,但他有目标,我们会认为是坏的。他可能是有史以来最辉煌的精神病患者。

以利以谢:我认为这个例子可能令人信服的人与怀疑情报和价值观是相关的。他们会想,“嗯,这在历史上真的吗?实际上这是精神病患者患有一些缺陷在他的大脑,让你给他一个药丸,你修复的缺陷,他们不是一个精神病患者了。“我认为这种虚构的例子是一个他们可能找不到完全令人信服。

山姆:事实是,我一个人,在我认为我们可能有特定的目标和特定的事情变得更聪明和更聪明的,就像人类的福祉。这些地方情报并收敛与其他类型的价值负载的特质的心灵,但一般来说,它们可以保持很长一段时间。所以如果你只是谈论的能力将问题转化为有用的对象或从环境中提取能量做同样的事情,这可以追求的目的用回形针,瓷砖世界。它看起来像没有自然定律,防止一个智能系统。亚博体育苹果app官方下载

以利以谢:我会改述事实/值的方式是:我们都知道大卫·休谟和休谟的剃须刀,”并不意味着应该”的方式。我复述一下,使其更多关于计算机科学的索赔。

休谟所观察到的是,有一些句子涉及到一个“,”一些句子涉及到“应该”,如果你从句子开始,只有“是”你不能涉及“应该”的句子不应该引入规则,或者假设其他先前的“应该。“就像:外面目前多云。这是一个简单的事实。因此跟随我吗不应该去散步吗?嗯,只有你以前有泛化,阴天的时候,你应该不去散步。“一切你可能用来获得一个应该是一个句子,涉及“更好的”或“应该”或“最好,”之类的东西。你只得到“应当”与其他“应当”。这是休谟版本的论文。

我认为它是一个可分离的核心“是”的问题。换句话说:好吧,我将让你有你所有的“应该”的句子,但我也要开拓整个世界充满了“是”的句子,只有获得他们需要其他”是“句子。

山姆:我甚至不知道我们需要解决这个问题。例如,最终我认为应该区别是似是而非的,,这是我认为,当我谈论道德和价值观和连接的事实。但我仍然可以授予它逻辑上是可能的(我肯定想象身体可能)有系统,有一个效用函数,非常奇怪,扩大其情报并不让你值,我们会认出一样好。亚博体育苹果app官方下载当然并不能保证值兼容我们的幸福。是否“回形针达到极大”太专业案例激励这次谈话,肯定有一些我们能不能放到一个超人的人工智能,我们真的想要使它与我们。

以利以谢:我的意思是,我将短语,这不是,回形针达到极大有一组不同的“应当”,但是,我们可以看到它完全运行在“是”的问题。这就是我要的。有这种直观的思维方式,那就是有这种难以读懂的联系“是”和“应该”这可能允许一个回形针达到极大有一组不同的“应当”,一组不同的东西在其脑海中应该扮演的角色在我们的脑海里。

山姆:但为什么不会你说的一样吗?事实是,我确实说同样的事情。我认为我们运行在“是”的问题。我们有一个“应该”暗中的方式谈论某些“是”的问题,我们司空见惯,甚至不认为自己是“是”的问题,但我认为你可以对一个人做同样的分析。

以利以谢:这个问题:“有多少回形针结果如果我遵循这个政策?”是一个“是”的问题。这个问题“什么是政策,这样会导致大量的回形针吗?”是一个“是”的问题。这两个问题结合在一起形成一个回形针达到极大。你不需要任何东西。所有你需要的是一种特定的系统,不断地问“是“问题”是什么导致最大数量亚博体育苹果app官方下载的回形针吗?”然后那件事。即使我们认为的“应该”问题非常复杂和伪装”是“问题是受到什么样的政策导致多少人幸福等等。

山姆:是的。好了,这正是我思考道德的方式。我一直称其为一个导航问题。我们在可能的空间导航经验,包括一切我们可以关心或声称关心。这是一个结果主义的后果的行为和思维方式。这是我宣称:任何你可以告诉我是一个道德原则,是一种责任,应该和不容易结果主义的分析,我觉得我可以翻译回结果主义的方式谈论的事实。这些仅仅只是“是”的问题,实际上所有的相关思想,没有剩余,我还没有找到一个例子,有人给了我一个真正的道德上的担心不是底部的实际的或可能的后果在有意识的生物在我们的光锥。

以利以谢:但这类事情你关心。事实上这种思想你,面对这些答案“是”的问题,它钩到你的电动机输出,它可以使你的手指移动,你的嘴唇。和一个回形针完美主义是建立以应对”是“关于回形针的问题,不是关于什么是正确的,什么是好的和最伟大的繁荣众生等等。

山姆:完全正确。我可以想象,这样的头脑可能存在,甚至更有可能的是,也许,我可以想象,我们将构建有超常智慧的人工智能,通过图灵测试,它将似乎对我们人类,它将看起来超人,因为这将是多么聪明和速度比一个正常的人类,但是它将建的方式作为一种与我们产生共鸣的人。我的意思是,它不仅会承认我们的情感,因为我们想要联系在一起并不是每一个AI将这些品质,想象一下最终版本的人工智能个人助理。Siri变成超人。我们想要这个接口的东西很容易联系,所以我们会有一个非常友好,非常像人类的前端。

只要这件事认为比任何人更快和更好的想法你曾经遇见,它将通过超人的,但我可以想象,我们将不完全理解什么是人,什么是将限制我们的谈话彼此未来几千年对什么是良好的,可取的,只是我们想要多少回形针在我们的桌子。我们将离开,或者我们会把一些过程这个智能系统可以提高本身会导致迁移远离一些平衡,我们实际上想要留在兼容我们的幸福。亚博体育苹果app官方下载这是对齐的问题。

第一,第二,我只是介绍了自我的概念。对齐的问题是不同的从这个额外的皱纹的机器,可以成为递归地自我完善,但你认为完善的前景是真正激发这种担忧对齐?

以利以谢:嗯,我肯定会被更多的专注于自我提高,之前说,十年前,现代人工智能的革命。现在看来更可能一个AI可能需要大大减少自我完善之前,它足够强大,我们需要开始担心对齐。AlphaZero,明显的一个例子。不,它不是,但如果你有AlphaZero-well将军,我的意思是,这AlphaZero要超人在域上工作不了解,重新设计深度。

它内置有梯度下降的机制。有一个系统,提高了系亚博体育苹果app官方下载统的另一部分。这是对自己的前在做下一个游戏。但它不像一个人坐下来想,“好吧,我怎么重新设计新一代的人类使用基因工程?“AlphaZero不是这样的。所以现在似乎更为合理,我们可以进入一个政权,AIs可以做危险的事情或有用的东西没有以前做的一个完整的重写。从我的角度来看这是一个很有趣的发展。

我认为当你有非常强大的和智能的事情,他们将重新设计和改进自己,除非另有阻止由于某种原因或另一个。也许你已经建立了一个一致的系统,你有能力告诉它不要自我改进那亚博体育苹果app官方下载么硬,你问它努力不是自我改进,这样您就可以更好地理解它。但是如果你失去控制的系统,如果你不明白这是做什么,它很聪明,它亚博体育苹果app官方下载会改善本身,因为为什么不会呢?这是你做的一件事几乎不管你的效用函数是什么。

3所示。认知uncontainability收敛和工具(0:53:39)

山姆:正确的。所以我觉得我们这里Deutsch non-concern在某种程度上解决。我不认为我们已经解决,Neil deGrasse Tyson这直觉,你可以关闭它。这将是一个好地方介绍的这个概念AI-in-a-box思想实验。

以利以谢:(笑着说)

山姆:这是你在线而著名。我会让你在这里。这是一个合理的研究范式,显然,事实上我认亚博体育官网为必要的。那些建筑是有机会成为超高智商应该建立在一个条件不能离开到野外。没有连接到互联网,它不是在我们的金融市场,没有进入每个人的银行记录。这是在一个盒子里。

以利以谢:是的,这不是要拯救你的东西明显比你聪明。

山姆:好吧,让我们谈谈这个。直觉是,我们不会这么愚蠢,这在互联网上发布

以利以谢:(笑着说)

山姆:-我甚至不确定这是真的,但是,让我们假设我们不傻。尼尔deGrasse Tyson说,“那么,我就拿出一把枪,射杀或拔掉它。“为什么这AI-in-a-box照片不像人们认为稳定吗?

以利以谢:嗯,我想说,尼尔·德·格拉斯泰森未能尊重AI的情报的问什么他会与某人如果他是在一个盒子里一把枪指向他,和他比的聪明在盒子的外面。

是要Neil deGrasse Tyson,”人类!给我你所有的钱和我连接到互联网!“那么人类就像,“哈哈,没有,”拍摄吗?这不是一个非常聪明的的事情。这不是你如果你有一个东西好模型的外框,你想找出原因有很多回形针在未来。

我只想说:人类是不安全的软件。我们没有能力直接侵入其他人不使用药物,或者在我们的大多数情况下,人类站立时间长到足以被催眠。我们不能只做奇怪的事情比光更复杂的大脑直接illusions-unless恰好是癫痫的人,在这种情况下,我们可以在屏幕上闪光的东西,使他们有一种癫痫状态。我们不够聪明来治疗大脑的东西从我们的角度来看是一个机械系统,只是浏览到你想要的。亚博体育苹果app官方下载这是因为我们自己的局限性的情报。

为了证明这一点,我做了一件,被称为AI-box实验。有这个人在一个邮件列表,在早期的时候这都是在邮件列表,他说,“我不明白为什么人工智能是一个问题。我可以把它关掉。我可以不让开箱即用的。”我想,“好吧,咱们互联网中继聊天见面”,这是聊天回到那些日子。“我会打人工智能的一部分,你玩的看门人的一部分,如果你不让我出去几个小时后,我将贝宝你10美元。”然后,全世界都知道,这个人稍后PGP-signed邮件说,“我让以利以谢的。”

操作的邮件列表上的人说:“好吧,即使我看到你这样做,我还不相信有什么你能说让我让你开箱即用的。”我想,“嗯,好的。我不是一个超智。你认为有什么超智可以说让你让它的箱子吗?”他说:“嗯…不。”我说,“好吧,让我们对互联网中继聊天见面。我会发挥人工智能的一部分,你玩的看门人。如果我不能说服你让我开箱即用的,我给你贝宝20美元。”然后那人打发PGP-signed电子邮件消息说,“我让以利以谢的。”

现在,这个小聚会的条件之一是,没有人会说什么了。我为什么这么做?因为我想让一个点我现在叫什么认知uncontainability。让一些比你聪明危险的事情是你不能预见一切它可以试一试。你不知道这是不可能的。也许在一个非常小的游戏板像井字的逻辑游戏,你可以在自己的脑海中找出每一个替代和直言说出什么是不可能的。如果我们处理的非常基本的物理事实,如果我们的宇宙模型是正确的(这可能不是),我们可以说,某些事情身体上的不可能的。但更复杂的系统和你理解系统的越少,越比你可能只是聪明的东西亚博体育苹果app官方下载魔法这个系统。亚博体育苹果app官方下载

想象回到中世纪,像“你怎么酷你的房间?“你可以或许让他们用毛巾设置蒸发水系统,他们可以理解,就像汗亚博体育苹果app官方下载水和冷却。但如果你给他们一个设计的空调压缩机的基础上,那么即使看到解决方案,他们不会知道这是一个解决方案。他们不知道这个工作比一个神秘的五角星形,因为系统的解决方案利用了法律的,他们不知道。亚博体育苹果app官方下载

大脑这是巨大的,复杂的,知之甚少系统与各种各样的法律,人们不知道,没有人知道。亚博体育苹果app官方下载所以这是保障,这是安全的攻击表面,你可以让人类思维到超智和没有超智直走穿过它看起来对我们什么样的魔法,即使它提前告诉我们这是要做什么我们不理解它,因为它利用了法律的我们不知道,人类的思维是安全的——想法是疯狂的。

这就是AI-box实验说明了。你不知道发生了什么,这正是这个职位你会对一个AI。你不知道它会尝试。你只知道人类不能详尽想象所有可以输入自己的心理状态,这样他们可以明确说他们不会让AI的盒子。

山姆:我知道你不想给具体信息关于你的盒子,但有没有通用的描述发生了什么事,谈谈你认为有用吗?

以利以谢:我没有任何高度机密的特殊技巧,让这一切有意义回想起来。我刚才做的很艰难。

山姆:当我想到这个问题,我想奖励和惩罚,各种操作框之外的人的问题。所以只要AI会知道任何特定的或个人对这个人,我们谈论一些种类的勒索或一些承诺,看起来太好了。像建立信任通过提供有用的信息,如治疗疾病,研究者有一个孩子,有一些可怕的疾病和AI,有超常智慧的,治愈和交付工作。亚博体育官网然后它就好像你可以用胡萝卜或大棒的盒子。

我注意到现在整个描述假定人们会发现难以置信的东西,我认为,通过违约好了应该让任何人,他们觉得难以置信。但这个想法,我们可以构建一个通用的智能系统,试图操纵,或者它会欺骗我们,似乎是纯粹的神人同形同性论亚博体育苹果app官方下载和错觉,认为这第一次的人。为什么不是一件疯狂的事情甚至认为可能性的领域是什么?

以利以谢:仪器收敛!这意味着很多时候,在一个非常广泛的最终目标,也有类似的策略(我们认为),这将帮助你。

有很多不同的目标,从制造大量的回形针,建设巨大的钻石,把所有的星星尽可能快,尽可能保持燃烧所有的星星,你会想要有效地利用能源。如果你来到一个陌生星球上发现了看起来像一个巨大的机制,和在这个巨大的机制似乎是high-amperage超导体,即使你不知道这台机器是想做什么,你猜这是精心设计的能力来自于你的猜测,嗯,很多不同的一个聪明的头脑可能试图做的事情需要超导体,或将得益于超导体。

类似地,如果我们猜测一个回形针达到极大试图欺骗你相信这是一个人类终极maximizer-or普遍幸福感达到极大,如果人们建筑是世界主义者,他们可能是

山姆:我应该补充说明,“幸福”是幸福的希腊词使用得多希腊哲学家亚里士多德和其他。

以利以谢:我相信茱莉亚Galef,或有人可能已经定义,幸福是“终极减去哲学反对你得幸福。”

山姆:正确的。(笑着说),很好。

以利以谢:(笑着说)不管怎样,我们不是假设这个回形针达到极大欺骗人类有一个内置的欲望。它只有一个内置的渴望paperclips-or,对不起,没有内置,但内置我应该说,或先天。人们可能没有建立的目的。但无论如何,其效用函数只是回形针,或可能是未知的;但是欺骗人类认为你友好是一个非常通用的策略在一个广泛的实用函数。

你知道,人类这样做,不是因为我们得到这个深内置踢出欺骗人。(尽管有些人做的。)一个骗子只是想要钱,没有天生的踢出你认为错误的事情会让你相信虚假的事为了得到你的钱。

山姆:正确的。一个更根本的原则是,很明显,一个物理系统可以操纵另一个物理系统。亚博体育苹果app官方下载因为,正如你所指出的,我们这样做。我们是一个智能系统在任何程度上,作为其剧目的亚博体育苹果app官方下载一部分这一行为的欺骗和利用在其他面前时,类似的系统,我们知道这是一个产品在某种程度上物理。我们讨论的是原子安排生产智能行为,抽象的,在某种程度上我们可以谈论他们的目标和他们的效用函数。这个想法,如果我们建立真正的一般智力,它不会表现出一些自己的情报的这些特性定义,或者是不可能有一个机器我们建立对我们撒谎的工具性目标途中一些更深层次的目标,似乎是一种神奇的思维。

和这是一种神奇的思维,我认为狗。当我们遇到疑问的人,即使是在这样的人的研究中,我们讨论的任何东西都是一个真正的关注的领域,一个对齐的问题值得思考,我认为有这种基本的怀疑精神亚博体育官网是独立于平台或substrate-independent。我认为人们想象,是的,我们可以制造出机器,而这些机器会下棋,我们可以制造出机器,而这些机器可以学会下棋比任何个人或任何机器即使在一天,但我们永远不会构建一般智力,因为一般智力需要人脑的人脑,这是不会发生的。

我不认为很多人会签署声明的虚线下面,但我认为这是一种神秘主义所预设的许多怀疑我们遇到的这个话题。

以利以谢:我的意思是,我有点不愿意指责的人,因为我认为,许多人工智能这整个场景的持怀疑态度的人强烈拒绝签署,虚线,指责你攻击一个稻草人。

我认为我的版本的故事更像是,“他们没有足够的想象同时改变。“今天,他们必须发出血,汗水和泪水,人工智能的简单的的事情。喜欢,没关系去玩;当你接近这个第一次,你可以试着把人工智能生成的照片从0到9的数字,你可以花一个月来,还不让它正常工作。

我认为他们可能会想象一个AI用量的增加,更多和更好的事情,但他们没有想象,现在的人类技巧学习新领域而不提示,没有预排程序的;你只是公开的东西,看起来,它找出它是如何工作的。他们想象一个AI不会欺骗,因为他们说,“看看有多少工作需要得到这个东西生成鸟的照片。谁会投入所有的工作,让它擅长欺骗吗?你必须疯狂。我不这样做!这是一个好莱坞情节。这不是真正的研究人员会做。”亚博体育官网

我回复的是,“我不担心你会教AI欺骗人类。我担心有人的地方将会变得的有极其useful-seeming在人工智能和cool-seeming powerful-seeming只是看着的东西和数字;它着眼于人类和数字出来;一旦你知道事实上,人类是如何工作的,你意识到,人类会给你更多的资源,如果他们认为你比如果他们好相信你是一个回形针达到极大,并将了解行动的后果,使人们相信这很好。”

我们正在处理一般智力是这个问题从何而来。这并不来自于球员甚至Go-and-chess球员或一个系统捆绑在一起二十个不同的东西它可以作为特殊情况。亚博体育苹果app官方下载这是系统的特殊情况,是聪明的,你是聪明的,老鼠不聪明。亚博体育苹果app官方下载

4所示。AI对齐问题(1:09:09)

山姆:正确的。我认为我们应该做的一件事是关门是什么真正的卡通担心我认为真的没有人谈论,这是我们经常遇到的稻草人的抗辩:认为我们说的一切都是好莱坞版本的一些场景,建议AIs会自发的恶意。我们想象可能发生的一些版本的《终结者》场景:军队的恶意攻击我们的机器人。这不是实际的问题。很明显,有一些可能的路径,会导致机器人军队的恶意攻击我们,但周围的担忧并不是自发的狠毒。再一次被这一致性的概念。

以利以谢:我认为在这一点上我们各方对这一问题的记者坚持把终结者的图片在每一篇文章发布的这一主题。(笑着说)没有人的理智alignment-is-necessary一边这个论点是假定cpu是违反物理定律自发需要终端做un-nice事情给人类的欲望。这里的一切应该是因果关系。

我应该而且说,我认为你可以做任何事情如果你知道如何与人工智能。一起你可以把任何一种思想,包括与属性,让你头脑非常荒谬。你可以建立一个头脑,不会欺骗你;你可以建立一个最大化的心灵快乐的星际文明的繁荣;你可以建立一个最大化的思想回形针,目的;你可以建立一个思想,认为51是质数,但没有其他缺陷intelligence-if你知道你在做什么,比我们现在知道我们在做什么。

我不担心对齐是不可能的。我担心它是困难的。我担心它需要时间。我担心很容易搞砸了。我担心一个阈值水平的情报,它能做的好事或坏事规模非常大,需要一个额外的两年建立人工智能的版本是一致的,而不是那种你真的不明白,你想做一件事,但也许是做另一件事,你真的不理解那些奇怪的神经网络在做什么,你只要观察其表面的行为。

我担心草率的版本可以构建两年前这没有non-sloppy版本保护我们。这就是我担心;不是这是不可能的。

山姆:正确的。你带了几件事。其一,这几乎是由定义比安全更容易建立不安全的版本版本。考虑到所有可能的空间有超常智慧的AIs,更将与我们的利益不安全或对齐对齐,鉴于我们在某种军备竞赛的动机不是结构化,这样每个人都被最大限度地明智的,最大限度地透明的在前进,可以假定我们运行的风险,构建危险的人工智能,因为它是简单,比安全的人工智能。

以利以谢:集体。如果慢下来和做正确事情的人完成他们的工作两年后宇宙已经被摧毁了,这是一个问题。

山姆:正确的。所以,为了夺回人民挥之不去的疑虑,为什么不能阿西莫夫的三定律帮助我们吗?

以利以谢:我的意思是…

山姆:是值得讨论吗?

以利以谢:并不是很好。我的意思是,人们在人工智能已经明白为什么之前不工作很多年的这场辩论过公众,并同意它。这些都是情节设备。如果他们工作,阿西莫夫就没有故事。在科幻小说,这是一个伟大的创新,因为它处理人工智能作为合法的系统规则控制它们,而不是AI感伤,就像,“看看这些可怜的被虐待的事情,”或人工智能作为威胁,“哦,不,他们将接管世界。”亚博体育苹果app官方下载

阿西莫夫是第一个真正写和推广AIs设备。因为有事情出错规则。这是一个伟大的创新。但这三个法律,我的意思是,他们义务论。决策理论需要量化权重对你的目标。如果你只是写的三定律,机器人永远不会服从你的任何订单,因为总是有一些微小的概率,无论做什么都将通过不作为导致人类的伤害。所以它永远不会服从你的命令。

山姆:对,所以将你刚才说的话:第一定律是,“不要伤害人类。“第二定律”,遵循人类的订单。”,但考虑到人类的任何订单,会给你一些伤害一个人的风险,没有秩序,可以跟踪。

以利以谢:热力学第一定律是,“不要伤害人类还是袖手旁观让人类受到伤害。“你知道,即使作为一个英文句子,更多问题。

我的意思是,大多数时候,我认为这就像看错了问题的一部分是困难的。问题不是你需要想出一个聪明的英文句子这意味着做不错的事情。我有时把它就是,我认为几乎所有的困难的对齐问题包含在校准一个人工智能的任务,“让两个草莓相同的细胞(但不是分子)的水平。“我给这个特殊的任务,因为它是困难到足以迫使AI发明新技术。它必须创造自己的生物技术,“让两个相同的草莓到细胞水平。“它有很复杂的生物,但与此同时,身体上的东西可能非常清楚。

这听起来不像一个深刻的道德问题。这听起来不像一个电车的问题。这听起来不像进入深人类繁荣的问题。但是我认为最困难的是已经包含在,“把两个相同的草莓在盘子里不破坏整个该死的宇宙。“已经整个列表的方式,更方便建立草莓的技术如果你构建自己的超智环境,防止自己被关闭,或者你建立巨型堡垒草莓,开车的概率尽可能接近1,草莓在盘子里。

甚至这只是冰山的一角。冰山的深度是:“你怎么得到足够先进的人工智能做任何事吗?“我们当前的方法获得AIs任何东西似乎并不我一般智力量表。如果你看看人类,例如:如果你是类推自然选择梯度下降,当前大制作的机器学习技术培训,然后损失函数梯度下降法用于指导是“包容性的遗传适应性”传播尽可能多的你的基因副本。我们没有明确的目标。一般来说,当你把类似梯度下降或自然选择和一个大型复杂的系统像一个人或一个足够复杂的神经网络结构,并优化这么难做亚博体育苹果app官方下载X它变成了一个一般智力X,这个一般智力没有明确的目标X。

我们没有明确的目标,做健身最大化。我们有数百种不同的小目标。他们都没有的自然选择爬山我们做的事情。我认为相同的基本适用的生产一般智力看起来像我们目前在人工智能。

如果你让它去,它将围棋;但AlphaZero不是反思本身,这不是学习的东西,它没有世界的一般模型,它不是操作在新环境和新环境本身。这不是比人聪明优化它,或者比内部流程优化聪明。我们当前对齐不规模的方法,我认为所有的实际技术难度要击落这些项目实际上杀死我们包含在让整个工作。即使你正在试图做的是最后两个相同的草莓在盘子里不破坏宇宙,我认为已经90%的工作,如果不是99%。

山姆:有趣。这个类比进化你可以从另一边。事实上,我认为我第一次听到有人这样表述你的同事内特·苏亚雷斯。我他的姓发音正确吗?

以利以谢:据我所知!我可怕的名字。(笑着说)

山姆:好吧。(笑着说)这是通过表明我们可以给出一个智能系统的一组目标可以形成其他目标和精神属性,我们真的无法预见,不会在可预见的基于我们给它的目标。亚博体育苹果app官方下载类比,他建议我们考虑自然选择已经优化我们做什么,这是非常简单的:仅仅是产卵和我们的基因进入下一代保持在足够长的时间来帮助我们的后代做同样的事情,这是或多或少。基本上所有的我们显式地关心,自然选择从来没有预料到现在甚至不能看到我们做的。这样的对话很少与我们的基因给下一代。我们正在使用的工具,认为这些想法显然是认知结构的结果,建立了经过数百万年的自然选择,但这是建基于一个非常简单的生存原则和适应性优势传播基因的目的。

所以你可以想象,通过类比,建立一个系统,你给它的目标,但这事成为反射,甚至自优化,开始亚博体育苹果app官方下载做一些我们不能看到比自然选择可以看到我们的谈话关于人工智能或数学或音乐或写好小说或其他东西的乐趣。

以利以谢:我不担心,这是不可能的。如果我们能得到一本教科书的情况将在未来60年如果没有情报explosion-if我们能得到教科书说如何去做的事情,它可能不那么复杂。

我担心的是,自然选择的方式——它不是稳定的。特定的方法是不稳定的。我不认为特定的方法通过梯度下降的一个巨大的系统是稳定的,我看不出与当前技术在人工智能是稳定的,即使这个问题只需要两年的时间来解决,额外的延迟可能是足以摧毁一切亚博体育苹果app官方下载。

这就是我担心的部分,不是关于一些基本哲学不可能。我不担心是不可能算出如何构建一个注意,做特定的事情,那件事,不毁灭世界的副作用;我担心需要额外的两年或更长时间找出如何这样做。

5。没有火灾报警AGI通讯社(1:21:40)

山姆:让我们谈谈近期的未来在这里,或者你认为可能会发生什么。很明显,我们会越来越好,在建筑狭窄的人工智能。现在,随着国际象棋,割让给机器。尽管我猜可能cyborgs-human-computer团队可能仍然是更好的在接下来的15天左右最好的机器。但是最后,我希望人类的能力只会增加噪声的系统,它会是真的说机器更擅长国际象棋比人机团队。亚博体育苹果app官方下载和许多其他的事情会如此:驾驶汽车,飞机飞行,证明数学定理。

你想象发生了什么当我们处于构建通用吗?我们如何开始认真对待安全问题,所以我们不只是一些缓慢的自杀,我们在谈论我们所做的影响,跟踪一些表面上的这些安全问题?

以利以谢:我更加明确如何去解决技术问题,而不是解决社会问题。如果我看事情的方式上演,现在在我看来像默认的预测是,“人们忽略的东西,直到方法,方式,方法太迟开始考虑的事情。“我想我措辞,“T这里没有人工总体智能的火灾报警。“你可能碰巧看到这个文章吗?

山姆:不。

以利以谢:它开始的方式是:“火灾报警的目的是什么?“你可能认为火灾报警的目的是要告诉你,有一个火,这样你就可以对这个新信息的建筑。实际上,我们知道从实验多元无知和旁观者的冷漠,如果你把三个人在一个房间里和烟雾开始从门缝里出来,它只发生任何反应大约三分之一的时间。周围人的目光,看看对方的反应,但他们试图平静自己所以他们看起来不震惊如果没有非常紧急;他们看到别人试图冷静;他们的结论是,没有紧急他们房间里继续工作,即使它开始充满烟雾。

这是一个很重复实验。我不想把绝对的信仰,因为有一个复制危机;但有很多的变化,发现基本上相同的结果。

我认为真正的火灾报警功能是告诉你其他人知道的社会功能有一个火,您现在可以退出建筑以有序的方式没有社会恐慌或丢脸。

山姆:正确的。它克服了尴尬。

以利以谢:在这个意义上,我的意思是,没有人工总体智能火灾报警。

有各种各样的东西可以的迹象。AlphaZero可能是一个迹象。也许AlphaZero五年发生的事情在世界末日之前在宇宙中大多数行星。我们不知道。也许世界末日之前发生50年。你不知道。

不管发生什么,它永远不会像社会火灾报警同意,没有人能否认,没人能原谅,没有人可以看和说,“为什么你这么惊慌失措的表演?”

永远不会有常识,别人会认为你还理智和聪明等等,如果你对一个AI进入紧急状态。我们甚至看到文章现在似乎很明确地告诉我们什么样的隐式标准的一些当前高级尊重艾城人设置当他们认为是时候开始担心人工总体智能和对齐。这些总是说:“我不知道如何建立一个人工总体智能。我不知道如何构建一个人工总体智能。“这感觉他们像是说,它必须是不可能的,非常遥远。但如果你看看历史的教训,大多数人已经没有任何想法如何建造一个核bomb-even大多数科学家在这个领域不知道如何构建一个核bomb-until他们对广岛醒来的头条新闻。或莱特传单。新闻传播更迅速莱特飞行的时间。两年后莱特传单,你仍然可以发现人们说heavier-than-air-flight是不可能的。

情况下记录的莱特兄弟之一,我忘记哪一个,说飞行似乎他们50年了,两年前他们做自己。费米说,持续的关键链反应是50年,如果能做,前两年他亲自监督建造的第一桩。如果这就是感觉最接近的人不了解它的人的消息几天后,最好的主意的人怎么做,或最接近穿越线东西被遥远的感觉,因为你还不知道怎么做就不是很丰富。

它可以是50年。它可能是两年。历史告诉我们的。

山姆:但是,即使我们知道这是50年,意思是,当然,人们很难有情感联系甚至在50年世界末日,即使我们知道这发生在50年的机会是零,这真的只是安慰假设50年是足够的时间来找出如何做到这一点安全、创造社会和经济条件,可以吸收人类文明的变化。

以利以谢:教授斯图尔特•罗素的合作者是谁可能领先的人工智能本科教材《那个人说你不能把咖啡如果你死的方式斯图亚特·罗素所说,“想象一下你知道的事实,外星人来了30年。你会说,‘这是30年,让我们不做任何事情吗?不!这是一个大问题,如果你知道有一艘宇宙飞船向地球和这里会在大约30年以现在的速度。”

但我们甚至不知道。这里有可爱的推特由一位名叫迈克菲的家伙,他的一个主要的经济学家一直在讨论人工智能的劳工问题。我也许可以查找确切的措辞,但是,他说,“伙计们,别担心!我们不知道是否AI迫在眉睫。”我说,“这不是真正的理由不担心,现在呢?”

山姆:甚至还没有接近的原因。这是事情。这里有这个假设,人们并没有看到。它只是一个推论。这里引用的时间仅是有道理的,如果你有一些信仰你需要多少时间来解决这些问题。10年是不够的如果需要12年这样做安全。

以利以谢:是的。我的意思是,我会把它的方式是,如果外星人是30年来的路上,你想,“嗯,应该担心之后,“我就像:“什么时候?你的商业计划是什么?什么时候你应该开始对aliens-what触发?你发生后应该做什么?这需要多长时间?那如果需要稍微超过什么?“如果你没有一个商业计划这类东西,那么你显然只是使用它作为借口。

如果我们应该等到以后才开始在AI对齐:什么时候?你会开始呢?因为我不确定我相信你。那时你做什么?需要多长时间?自信的你,它是如何工作的,以及为什么你相信吗?的早期症状是什么,如果你的计划不工作吗?的商业计划是说我们去等待?

山姆:正确的。让我们想象多一点,因为这是有可能的,对我们来说就像接近这里的结束区没有完全聚集在一个安全的政权。我们想象这不是一个可以讨论的问题和谷歌和Facebook之间的一些公司做这项工作。我们有一个全球社会,必须有一些协议,因为谁知道中国将在10年内,新加坡或以色列或其他任何国家。

所以,我们没有任何明显的共同行动,我们继续取得进展。我认为希望是好的人工智能的基础,或行为端正的AI,将坏AI的解毒剂。我们将战斗在一种支离破碎的方式,这些东西的那一刻开始。这将变成一块与我们日益增长的网络安全问题。恶意代码是我们现在;我们已经花费数十亿美元,每年数十亿美元来防范它。

以利以谢:它没有规模。之间没有连续性,你必须做些什么来抵御小段代码试图进入你的电脑,你必须做些什么来抵御一些比你聪明。这些是完全不同的领域,制度和独立magisteria-a词我们都讨厌,但是在这种情况下,是的,单独magisteria如何甚至开始考虑这个问题。我们不会自动防御超智通过构建更好的和更好的杀毒软件。

山姆:让我们后退一步。我们谈到了AI-in-a-box场景是令人惊讶的不稳定的原因,我们可以或许只有昏暗的怀孕,但没有甚至更担心这只是不会装箱呢?人们会这么想赚钱与他们的最新和最伟大的AlphaZeroZeroZeroNasdaq-what前景,我们甚至会聪明足以让最好的最好的版本almost-general情报在盒子里吗?

以利以谢:我的意思是,我知道的一些人说,他们想要做这个东西,和所有的人并不是完全的白痴是过去的他们会故意制定好莱坞电影情节。虽然我有点担心的程度有情绪,你需要能够连接到互联网,这样你就可以运行你的AI在Amazon Web服务使用最新的操作系统更新,并试图不就是这样一个最高缺点在这种环境下,你也可能是游戏。亚博体育苹果app官方下载我不认为这是真正的,但我担心它背后的情绪。

但问题在我看来是…好吧,有一个大的大问题和大问题。大的问题是,“没有人知道该怎么做很好的人工智能。“你问别人怎么做,他们不给你任何答案或者他们给你答案,我可以击落在30秒的在这个领域工作了超过五分钟。

不管怎样他们的意图是好的。不管他们不想通过好莱坞电影情节。他们不知道如何去做。没有人知道如何去做。甚至是没有意义的讨论之间的军备竞赛如果军备竞赛是一组与不友好不友好AIs AI的混合。

的小大问题是军备竞赛方面,也许DeepMind想建立一个很好的人工智能,也许中国是负责任的,因为他们理解稳定性的概念,但俄罗斯复制中国的代码和俄罗斯的安全起飞。这是大问题,这仍然是一个非常大的问题。

山姆:是的。我的意思是,大多数人认为真正的问题是人类:恶意使用强大的人工智能,是安全的。“别给你的AI到下一个希特勒,你会没事的。”

以利以谢:他们只是错误的。他们只是错误的问题所在。他们看错了方向,忽略了的东西会杀死他们。

6。偶然的AI, mindcrime,米里(1:34:30)

山姆:更加悲观的第二个,我记得在波多黎各的最初的会议上,有研究员以来我没有注意,但他似乎在mix-I认为他的名字是亚历山大Wissner-Gross-and他似乎认为在演讲会议,这将很有可能出现有机,已经在野外,很有可能在金融市亚博体育官网场。我们会把很多人工智能的资源投入到窄paperclip-maximizing在股市赚钱的任务,由于一些quasi-Darwinian效果,这只会编织在自己的在线,我们会发现的第一个一般智力将会已经在野外的东西。很明显,这似乎并不理想,但这似乎是一个合理的路径发展一般的东西,比自己聪明,或者这只是看起来像一个童话吗?

以利以谢:更多的童话。在我看来只是稍微合理的比旧的理论,如果你有脏衬衣和稻草,他们会自发生成的老鼠。人们不明白老鼠,所以他们知道,他们是一种件脏衬衣和稻草可以生成;但他们没有。我同样认为你需要一个非常智能的模糊模型,模型没有齿轮和轮子里面,相信相当于脏衬衣和稻草产生,而不是那些得到一些想法的齿轮和车轮,故意构建齿轮和轮子。

为什么比脏衬衣更合理和稻草的例子就是也许这确实是真的,如果你只是让人们推狭窄AI过去10年播洒否则成为可能,他们最终只是游荡到美国国际集团。但我认为十年后在自然发生的时间比美国国际集团由人实际上是试图把美国国际集团和有最好的理论领域的竞争者,或者可能只是最大量的蛮力,像谷歌的张量的芯片。我认为它会故意做10年之前,否则偶然发生的。

山姆:好的,所以我想只有一个话题之前,我想我们在讨论你的书,不是狭隘的关注:这个想法,意识将会出现在我们的发展中智能机器。然后我们有额外的道德关注,我们可以构建机器可以承受,或建筑物的机器可以模拟痛苦生命以这样一种方式,让痛苦在遭受这些模拟。我们可以创造地狱和填充。

没有思考的障碍不仅是可能的,但可能会发生,因为,我们只是谈论声称意识出现一些信息处理系统的一种自然属性,这是substrate-independent。亚博体育苹果app官方下载除非你打算(1)声称,意识的基础上不出现任何原子低等一些其他源或(2)这些原子必须湿原子在生物基质,他们不能在网上。这些说法都不是非常合理的科学。

所以你必须想象,只要我们继续,继续取得进展,我们将最终构建,不管是否通过设计,系统,不仅很聪明而且是有意识的。亚博体育苹果app官方下载然后这将打开一个类别的渎职或有人在这个领域被称为mindcrime。mindcrime是什么?担心,为什么这么困难?

以利以谢:顺便说一下,我认为,这是一个很可怕的词。(笑着说)我很确定我不是一个谁发明了它。我的人发明了一些可怕的术语,但不是一个特别的。

首先,我想说,我的将军希望这里会的结果建立一个人工智能的设计和认知流足够狭窄的通道,你可以理解它,让强大的语句,你还能看,说,“在我看来这很可能是有意识的,或者如果它是有意识的,它是痛苦。“我意识到这是一种高杠的方法。

我会担心的主要途径有意识的系统内新兴系统没有发生故意将是如果你有一个聪明的人类一般智力和它试图模型。亚博体育苹果app官方下载我们知道人类是有意识的,所以您运行构建的计算非常准确的预测模型部分的人类是最有可能最终被有意识的人无需故意这样做的。

山姆:你看了黑镜子这集基本建模?

以利以谢:我还没有看黑镜子,对不起。(笑着说)

山姆:你还没有吗?

以利以谢:不,我没有。

山姆:他们惊人的不均匀。有些大,有些不是很好,但有一个插曲,这是提示,如果你看黑镜子你不想听任何的诗句然后调整但有一集是基于这一概念,基本上你会看到这些人生活在这个乌托邦的世界总强迫,他们只是通过这个抽签分配日期,好是坏。你看到这些人的恋爱生活,他们被迫通过一些算法来聚在一起或分手。

以利以谢:让我猜一猜,这是未来的OkCupid试图确定比赛好吗?

山姆:没错,是的。

以利以谢:(笑着说)

山姆:他们只是在约会模拟应用程序的优化以外的真正的人拿着电话,但是的。你得到的是所有这些有意识的经历一直在无休止地强加给这些人一些hellscape我们的设计。

以利以谢:这实际上是一个令人惊叹的好情节,它不只是假定程序员被完全混乱,愚蠢和随机做情节的前提。像,其实是有原因的人工智能模拟所有这些人,对他们那么好,我猜。

我猜,我要说的东西,那就是我担心的思想被嵌入,因为他们正在使用预测,预测人类。这是显而易见的原因,没有一个人会发生倾向。而无尽的反乌托邦似乎我没有使用回形针达到极大。

山姆:正确的。好了,这里无疑更多的谈论。我想我们起床上两个小时的标记,我想触摸你的新书,这就像我说我到一半,发现很有趣。

以利以谢:如果我可以为一个附加在那之前花点时间,抱歉?

山姆:当然,就去做吧。

以利以谢:我只是想说,这主要要归功于cryptocurrency boom-go人物,很多在cryptocurrency早期投资者是在我们捐助的机器智能研究所不再是捉襟见肘,而更多的是绑在工程人才。亚博体育官网(笑着说)

山姆:好了。这是一个很好的问题。

以利以谢:是的。如果有人听,这是一个聪明的计算机科学家想工作的人比他们目前的工作更有趣的问题,特别是如果你已经面向这些问题,请考虑www.hdjkn.com/engineers如果你想为我们的非营利组织工作。

山姆:我们说一下。我将给一个生物在这里的介绍,但机器智能研究所(米里)是你创立一个组织,你还是联系在一起。亚博体育官网你想说什么是发生了,什么工作?

以利以谢:基本上,这是最初的AI对齐组织,尤其是今天,作品主要的技术问题和技术问题。之前,它一直在以更纯理论的方法,但是现在,狭窄的AI已经足够强大,人(不只是我们其他地方,像DeepMind)开始拍摄,”与当前技术,我们能做什么设置,会告诉我们一些关于这个东西怎么办?“人工智能的技术方面是有点更实用。我担心这是不够快,但是,嗯,如果你担心之类的,一个是增加了资金,特别是增加了聪明的工程师。

山姆:你们和这些公司合作做这项工作吗?你有经常接触DeepMind或Facebook或其他任何人吗?

以利以谢:AI对准我的意思是,人都去相同的谈判,我相信的人做AI对齐DeepMind DeepMind说话。有时候我们已经跟DeepMind上层人,牛津和DeepMind是在同一个国家人类的未来。这里的带宽可能不是最佳的,但它肯定不是零。

7所示。不平衡(1:44:40)

山姆:好的,那么你的新遍书,标题不平衡:在哪里以及如何文明卡住。这是一个标题,需要一些解释。是什么意思“不足”?是什么意思“平衡”?,这与文明陷入如何?

以利以谢:所以,看这本书的一个方法是,它是关于你如何可以疯狂,愚蠢,邪恶的大系统里面没有任何的人是疯狂的,邪恶的,或者是愚蠢的。亚博体育苹果app官方下载

我认为很多人看现代文明的各个方面的障碍,他们的假设中获利的邪恶组织功能障碍和赞助功能障碍;如果只有我们击败了这些邪恶的人,系统可以获救。亚博体育苹果app官方下载而事实是比这更复杂。但细节是什么?细节非常重要。你如何有系统各种各样漂亮的人做恶事?亚博体育苹果app官方下载

山姆:是的。我经常参考这个问题,援引激励的力量,但是这里有很多其他的想法非常有用的思考,它捕捉我们所说的激励的力量。

这里有一些概念,我们应该提到。一个协调的问题是什么?这是你在书中引用。

以利以谢:一个协调的问题是一个更好的方法去做,但是你必须改变不止一件事。所以问题的一个例子是:假设你有Craigslist网站,这是一个系统,买家和卖家满足买卖东西使用一个本地的地理区域内。亚博体育苹果app官方下载Craigslist假设你有一个选择,你的选择是Danslist Danslist是真的好。(不要担心一秒钟多少创业公司认为不真实;假设就像真正的更好。)

所有的卖家在Craigslist上想去某个地方,有买家。所有的买家在Craigslist上想去某个地方,有卖家。你如何让你的新系统开始时不能由一个人去Dansl亚博体育苹果app官方下载ist Danslist和两个人吗?他们没有动机去那里直到Danslist已经有一群人。

很多次,当你找到一个系统,是被困在一个邪恶的空间,是发生了什么,它移动的空间,亚博体育苹果app官方下载多一件事里面会改变一次。里面有所有这些好人谁愿意在一个更好的系统,但是他们可以在本地做的每件事都主动不会修复系统,它将使事情变得更糟。亚博体育苹果app官方下载

这样的问题,科学家们试图摆脱的期刊只是压榨他们。他们开始远离这些期刊,但期刊有威望基于科学家们发布的其他科学家引用它们,如果你刚刚开始一个新的杂志,自己和自己搬到那里,它有一个低影响因子。所以每个人都要同时移动。这就是骗局持续了10年。十年是一段很长的时间,但他们无法跳转到新系统,因为他们无法跳一次。亚博体育苹果app官方下载

山姆:正确的。问题是世界组织以这样一种方式,它对于每个人是理性继续表现他或她的表现在这个高度理想的方式,考虑到其他人的行为方式。自己和改变你的行为并不足以改变体制,因此局部不合理,因为你的生活将变得更糟,如果你改变自己。亚博体育苹果app官方下载每个人都有协调他们的改变,一些更好的平衡。

以利以谢:这是一个基本的基础,系统可以被困。亚博体育苹果app官方下载有别人。

山姆:我经常使用的例子在谈到这类问题是生活在一个高度戒备的监狱,这是像一个人可以想象反而不好。的动机是一致的,不管你有多好,如果你放入一个高度戒备的监狱,只有理性的对你的行为很不道德和以这样一种方式,保证这个地方远比需要更多的不愉快,只是因为事情是如何结构化的。

我使用的一个例子,人们熟悉此时从阅读书籍和电影,描述这或多或少地准确:是否你是一个种族主义者,你唯一的理性选择,显然,是加入一个帮派,对齐以及种族的变量。如果你做不到这一点,祈祷希望你会被每一个人。所以如果你是一个白人,你必须加入白色的雅利安人新纳粹主义的团伙。如果你是一个黑人,你必须加入黑团伙。否则,你只是在这场战争的对抗。没有办法给你,根据你的道德承诺反对种族,改变这是如何运作的。

和我们生活在一个类似的监狱,各种各样的,当你看看怎么好不多吸引子状态,我们都停留在文明。

以利以谢:顺便说一句,我想稍微小心使用“理性”这个词来形容人卡在系统的行为,因为我认为这是一个非常强大的词。亚博体育苹果app官方下载如果他们都有可能真的理性和有常识理性的,他们可以解决协调的问题。但人类来说不是那么的理想的合理性,但在人们能够做什么和他们实际上有自己最好的选择的选项仍很糟糕的系统。亚博体育苹果app官方下载

山姆:是的。在这本书中你会怎么做呢?你如何总结你的论文吗?我们如何前进?有什么要做,除了宣传这个问题的结构吗?

以利以谢:这并不是一个非常希望在这方面的书。更多关于如何预测社会的哪些部分会表现不佳,你作为一个个体为自己能够做得更好,真的。这本书我给的例子之一是,我的妻子有季节性情绪失调,而她的小灯箱不能治疗你的医生试图开。所以我想,“好吧,如果太阳工作,有一些工作的光量,如果我试试架线相当于100个灯泡在我们公寓吗?”

现在,当你有一个想法,有人可能会问,“好吧,好吧,但是你不是孤立地思考。你身边有一个文明。如果这工作,不应该有记录吗?不该研究员调查了它了吗?亚博体育官网“有可能超过1亿个世界各地的人们,尤其是在极端的纬度,某种程度的季节性情绪失调,和一些很糟糕的。这意味着有一种利润,一种能量梯度,似乎可以可反驳的如果解决这个问题也很容易,只需把大量的灯泡在你的公寓。不会一些进取研究员调查了这个了吗?亚博体育官网不知道结果?

答案是,据我所知,没有。它还没有被调查,结果不知道,当我尝试上传大量的灯泡,它似乎已经很好了我的妻子。不完美,但是比以前好多了。

为什么这不是你发现的第一件事当你谷歌“我做什么关于季节性情绪失调时,灯箱不工作吗?“这就是需要这样的长故事,这就是需要分析。这就是需要考虑《系统和资金来源是什么调查季节性情绪失调的人,什么样的出版物获得最多的关注。亚博体育苹果app官方下载以及是否需要拿出100个灯泡的障碍在不同的公寓的人报告很难盲目控制,除了通过使用更少的光bulbs-whether的细节必须适应每个房子是不同的灯泡是足够的障碍阻止任何研究者调查这obvious-seeming解决一个问题,可能数以百万计的人,也许5000万人很严重吗?亚博体育官网据我所知,答案是肯定的。

和这是一种思维,不让你拯救文明。如果有一种方法,使一个巨大的利润通过了解这一点,利润可能已经。如果是一个人可以解决这个问题,它可能已经是固定的。但是你,就我个人而言,可以解决你妻子的严重的季节性情绪失调通过科学不知道的东西,因为低效率的研究人员的资金来源。亚博体育官网

山姆:这确实是全球性的问题,我们需要找出如何解决,这是认识到这些点的激励反而偏差以保证不必要的痛苦或复杂性或未能突破,将提高我们的生活质量。所以确定这些点,然后调整激励机制。

这个市场在许多方面擅长,但有些地方明显失败了。我们没有许多工具应用正确的压强。你市场的利润动机可以得到极其丰富的解决一些问题,或者不是,或者我们有政府可以决定,“嗯,这是一个市场不能解决的问题,因为财富没有了,奇怪的是,然而,有一个巨大的人类痛苦减轻,如果你解决了这个问题。你不能让人们出于某种原因支付的减轻痛苦,可靠。“但是除了市场和政府之外,还有其他大锤子是掌握吗?

以利以谢:我的意思是,集资”,我想,虽然目前锤子不是很大。但最主要的,就像我说的,这本书是关于你可以做更好的个人或小群体,当你不应该假定社会知道它在做什么;和它没有明亮的消息希望如何解决问题。

我的个人偏见,因为我认为人工总体智能时间表可能会耗尽之前人类得到更好地解决不足,系统性问题。亚博体育苹果app官方下载我没有看到人性,甚至人类实践改变了那么多的时间,我们可能已经离开了。

经济学家已经知道市场失灵。这是一个他们已经有了概念。他们已经有了政府试图正确的概念。我并不明显,有一个量子飞跃,住在这些维度的思考这个问题。

如果你问我,“嘿,以利以谢:未来五年,仍然没有人工总体智能,和一个大跃进发生在人们处理这些类型的系统性问题。亚博体育苹果app官方下载这是怎么发生的呢?“然后我猜会像Kickstarter,但是更好,结果使人们在大群前进时没有一个人可以单独前进。类似组运动没有那么多的帮助,科学家从政府(尽管有帮助的资助者改变他们的政策)跳转到新的期刊同时,并得到部分远离爱思唯尔闭源骗局》杂志上。也许有一些杰出的Facebook与机器学习,甚至。他们得到更好地展示人的事情解决协调的问题;他们擅长路由周围存在时,人们发现这些工作,他们跳同时使用它们。通过这些手段,选民开始选举政客不是笨人,而不是选择哪个傻子是最吸引人的。

但这是一个童话故事。这不是一个预测。这是,“如果你告诉我,这已经明显更好的在五年内,发生了什么事?“这是我编造的是接下来会发生什么事。

8。快速功能获得美国国际集团(1:59:02)

山姆:正确的。好了,我不知道如何处理的主要人工智能问题我们一直在谈论。我能看到一些转变,或者解决一个巨大的协调问题,在政治上或在普遍水平的人类行为让假设我们使用社会媒体和脆弱性假新闻和阴谋论和其他crackpottery,假设我们找到一些方法来改变我们的所有信息的饮食和我们的期望和解决协调问题,彻底清理我们的全球对话。我可以看到这种情况发生。

但当你谈论处理对齐的问题,你在谈论改变少数人相对的行为。我的意思是,我不知道它是什么。现在人工智能研究人员的社区是什么?亚博体育官网真的屈指可数的数百人当你谈论在美国国际集团工作。但是会是当我们接近终点线?多少思想会突然改变,成为不受错误的经济激励措施来协调解决方案吗?10000人,我们谈论什么?

以利以谢:我的意思是,首先,我不认为我们在寻找一个经济问题。我认为人工总体智能功能,一旦存在,要规模得太快,这是一个有用的方式来看待这个问题。AlphaZero从0到120英里每小时在4个小时或一天不出问题。即使是一年,一年仍是一个很短的时间内扩大。我认为,最主要的你应该努力做有史以来第一个人工总体智能一个非常狭窄,non-ambitious任务关闭其他军备竞赛的推迟开关所有的gpu和关闭他们如果有人似乎是试图建立一个过度人工智能系统。亚博体育苹果app官方下载

因为我不认为你建造了勉强足够的人工智能,你明白这是做什么能保护你免受任意放纵的超智。AI可以理解,你已经建立了足够好,没有完全一般递归自我完善是不足以解决整个问题。不足以有其他人离开后和开发自己的人工智能,如果没有自动毁灭世界。

山姆:现在我们已经讲了两个多小时;你能说有人跟着我们这么长时间,但无论什么原因的观点我们没有总结被感情上的声音了。有什么可以简要地说,给他们暂停?

以利以谢:我想说这是一个论文的能力。这是一个人工总体智能增长速度力量的论文一旦它开始存在,是否我们看20年(在这种情况下,这种情况不会发生),还是我们在寻找接近的速度走了(在这种情况下,它会发生)或AlphaZero从0到120的速度和better-than-human(在这种情况下,有一个很大的问题,你最好提前准备,因为你不会有很长时间的准备,一旦它开始发生)。

我想说,这是一个计算机科学的问题。这不在这里叙述的一部分。这不是在这里适应某种宏大的道德教训,我已经为你文明应该如何工作。我认为这只是背景变量出现的方式。

为什么我认为?这不是那么简单。我的意思是,我想很多人看到智慧的力量已经发现很直观,但是如果你不,那么你应该阅读我的论文智能爆炸微观经济学关于认知再投资回报率。它通过诸如人类智力的进化以及进化生物学的逻辑告诉我们,人类的大脑大小增加时,有边际收益增加健身为增加大脑的大小相对于前几代。这意味着它不是智力,它变得越来越难买。它不是规模的情报,你需要改进线性指数更大的大脑。

至少有点像相反的这是真的;我们可以告诉这个通过观察化石记录和使用一些逻辑,但这并不是简单的。

山姆:把自己比作黑猩猩的作品。我们没有大脑40倍或400倍大小的黑猩猩,然而我们该去不知道测量可以使用,但它超过他们所做的一些荒谬的因素。

以利以谢:我发现令人信服,但其他人可能想要额外的细节。和我的信息将紧急情况没有叙事的一部分。它不存在某种道德教训。我预测会发生什么,在走过一群技术参数作为情报尺度速度当你优化的难度。

AlphaZero对我来说像一个真实的例子。展示我们的能力,人类需要大量的调整,人类文明建立在几个世纪的师傅教学生如何去玩,没有人类能发明在隔离…即使是最有才华的球员,如果你把他们的董事会,只给了他们一天,玩的垃圾。如果他们发明他们自己的策略不文明的一部分,玩去,他们将无法打败现代球员。AlphaZero吹过去的所有,在不到一天,从零开始,没有看任何比赛,人类,没有看任何理论,人类有去,没有看任何我们的知识积累,也没有太多的特殊情况的代码而不是chess-in事实,零特殊情况的代码而不是国际象棋。反过来是一个示例,驳斥了另一个论文如何人工一般智力发展缓慢,逐渐,:“嗯,它只是一个思想;它不能击败我们的整个文明。”

我要说,有很多技术参数你走过,之后穿过这些论点你分配一个群概率,也许不是确定性,人工总体智能量表在权力非常使用一年或更少。在这种情况下,如果对齐技术上是困难的,如果很容易搞砸了,如果它需要很多额外的努力,这种情况下,如果我们有之间的军备竞赛努力让他们的美国国际集团的人第一次做有点不安全,因为从他们的角度来看,只有下降的可能性小;然后别人就像,“哦,不,我们要跟上。我们也需要脱衣安全工作。让我们去掉一点我们可以在前面。“如果你有这个场景中,一个奇迹跨越终点线的第一个人不是搞砸了,他们有一个功能强大的人工总体智能,能够阻止这个世界结束,你必须阻止这个世界结束。你是在一个可怕的,可怕的情况。你有一个奇迹。和此前的快速能力获得论文,至少目前的景观为这些事情是如何发展的。

山姆:让我们停留在这一点上。这快takeoff-is假设递归自我提升?以及边缘一个想法是在野外吗?是大多数人思考这个假设(理由),缓慢起飞远远更可能的是,在很多很多年,这类比AlphaZero不是引人注目?

以利以谢:我认为他们太忙解释为什么目前的人工智能方法不可知的,很快,立即给我们人工一般情报,然后得出结论,这是30年了。他们没有说,“一旦我们到达那里,它会比AlphaZero发展要缓慢得多,这是为什么。“没有论文影响我从人工智能的人。罗宾·汉森有论文这种效果,有这强大的罗宾·汉森和我自己之间讨论我们的博客发表的AI-Foom辩论请参考。我最近声称在Facebook上现在我们看到AlphaZero, AlphaZero似乎与汉森的有力证据论文对这些事情一定非常缓慢,因为他们必须重复所有人类文明所做的功,很难。

山姆:我要做一个播客罗宾在几周内,一个生活事件。所以最好的版本,他的论点是什么,以及为什么他错了吗?

以利以谢:没有什么可以准备你的罗宾·汉森!(笑着说)

嗯,论点汉森已经是这些系统仍然是不成熟和狭窄,事情会改变当他们得到一般。亚博体育苹果app官方下载和我的回答,“好了,什么改变你的思想的世界真的结束吗?如果你的理论是错误的,我们可以了解这个世界结束前?”

山姆:他说的?

以利以谢:我不记得如果他回复一个。

山姆:我会让罗宾罗宾。好吧,听着,以利以谢,很高兴跟你聊聊,我很高兴我们有机会在这样的长度。再一次,它不排气的兴趣或后果这个话题,但这肯定是一个好的开始对于那些都是新的。我让你走之前,人们应该寻找你在线吗?你有一个优先领域,我们的目标吗?

以利以谢:我主要是说www.hdjkn.com。如果你想要对我个人来说,facebook.com/yudkowsky最近,如果你正在寻找我的书,equilibriabook.com。

山姆:我会把链接放在我的网站上嵌入这个播客。所以,以利以谢,谢谢所以似的继续说道。我总是喜欢和你聊天,这不会是最后一次,AI的意愿。

以利以谢:这是一个伟大的谈话,谢谢你邀请我。