友好的AI研究作为有效的亚博体育官网利他主义

||yabo app

Miri成立于2000年，前提是创造的前提1友好的AI可能是一种特别有效的方式，可以尽可能多地做得很好。

从那以后的一些发展包括：

考虑到这些发展，我们比以往任何时候都能更好地评估“友好AI”研究作为有效利他主义的价值。亚博体育官网

然而，这仍然是一个困难的问题。评估其成本效益是非常具有挑战性的抗疟疾网或直接的现金转移．评估尝试塑造远现的成本效益（例如，通过友好的AI）更困难。因此，这篇简短的文章概述了一个论点，即支持友好的AI研究是有效的利他主义，以便于未来的讨论亚博体育官网,是不打算做彻底的分析。

友善的人工智能研究是有效的利他主义亚博体育官网

Beckstead (2013)认为5对于以下论文：

从全球性的角度来看，最重要的是（期望）的是，我们为一般轨迹做出最好的（预期），我们的后代在未来的数百万，数十亿和十亿多年发展中。

为什么这么认为?天文事实表明，人类(包括“后人类”)可以生存数十亿年或数万亿年(亚当斯2008.)，从而可以产生大量的善。6但我们的未来所产生的价值取决于我们的发展的轨迹．如果人类在21世纪的强大技术摧毁自己，那么几乎所有未来的价值都会丢失。如果我们生存但沿着冲突统治的轨迹和决定差的轨迹，那么未来可能比我们的轨迹占利于利他主义和智慧的轨迹。此外，我们今天的一些行动可以有“涟漪效应”7哪些决定了人类发展的轨迹，因为许多结果是路径依赖．因此，直接或间接促成特定轨迹变化的行动(例如，降低存在风险)可能比仅具有直接效益的行动(例如，拯救20只野生动物的生命)具有更大的价值(在预期中)。Beckstead称之为“粗略的未来塑造论”。

如果我们接受这种论证背后潜伏的规范假设（例如，风险中立；看到Beckstead的论文),那么遥远的未来非常有价值的(如果它至少平均过去一个世纪),和存在的风险减少重要得多比直接好处(例如全球健康、减贫)或加速开发(这可能实际上增加存在风险,即使没有，它的期望值也低于存在风险降低)。

然而，贝克斯特德的结论并不一定意味着降低生存风险应该是我们全球的优先事项，因为

可能还有其他方法可以在不降低存在的风险的情况下对远期产生大的，持续的影响...值和社会规范的一些持续变化可以使未来[部分分数]更好或更糟......当然，成功地防止了存在的灾难会比制作​​较小的轨迹变化更好，但创造了小的积极轨迹变化可能会显着更容易。

相反，贝克斯特德的观点认为，“塑造遥远的未来，最重要的是产生积极的轨迹改变，避免消极的轨迹改变。”生存风险降低是一种重要的积极的轨迹变化它可能是具有最高期望值的干预措施。

一个重要的澄清是必要的。如果朝着直接利益或开发加速的方向工作能够产生产生重要的轨迹改变的连锁反应，那么结果可能是朝着直接利益或开发加速的方向工作比“直接”的轨迹改变工作更有好处。例如，也许是“普通的利他主义努力”，比如解决印度的问题碘缺乏的问题将导致从现在起两代人之后会有成千上万的“额外的”世界级精英思想家，这可能会增加人类在关键的21世纪中智慧航行并向其他星球传播的机会。(我认为这是不可能的;我建议只是为了说明。)

为了论述，假设您同意Beckstead的核心论文，即“最重要的（在期望）的是，我们为我们的后代发展的一般轨迹做了最好的（期望）。”假设你也认为，就像我一样，那个机器的超理可能是不可避免的。8

在这种情况下，您可能认为友好的AI研究是一种以极大的积极方式塑造远未来的独特可预见而有影响力的亚博体育官网方式，因为“我们对远期的影响必须几乎完全通过了我们对机器超智力发展的影响。”所有其他发展趋势都可能被机器过度智能化的压倒性效力覆盖 - 而且具体地，通过写入机器的超高化的价值（明确或明确或间接地）。

如果这是正确的，我们的情况有点像向火星发射星际探测器殖民遥远的太阳系亚博体育苹果app官方下载在他们退缩之前宇宙视界因此再也无法从地球上到达宇宙的扩张．地球上任何不影响探测器内容的东西都不会对这些太阳系产生影响。亚博体育苹果app官方下载(见也这样的评论．)

潜在的击败者

上面的粗略论点——支持“友好的人工智能研究”是一种有效的利他主义的有效形式——值得更详细地“充实”。亚博体育官网9

还应检查潜在的击败者：

在未来的博客文章中，有效的利他主义者社区的成员(包括我自己)将扩展原来的论点，并检查潜在的失败者。

致谢

我要感谢那些对这篇文章提供反馈的人:Carl Shulman, Nick Beckstead, Jonah Sinick和Eliezer Yudkowsky。

  1. 在这篇文章中，我将讨论人类一般虽然Miri联合创始人Eliezer Yudkowsky通常会谈特别是米里- 或者至少，功能等同 - 创建友好的AI。这是因为我并不像yudkowsky那么充满信心，最适合Miri试图建立友好的AI。在2013年初更新Miri的章程时，Yudkowsky和我对Miri的使命宣言的语言妥协了，现在读取：“[Miri]存在，以确保创造聪明的智慧具有积极影响。因此，[miri]的慈善目的是：（a）与确保智慧的智力具有积极影响的研究进行研究;亚博体育官网（b）提高对这一重要问题的认识;（c）建议世界各地的研亚博体育官网究人员，领导者和外国人;（d）必要时，实现一个比人类更聪明的智能和人道的、稳定的目标”(重点补充)。我自己的希望是，MIRI(或功能对等体)没有必要尝试自己构建Friendly AI。但当然，我必须对这种可能性保持开放态度，即这将是作为第一个人工智能创造的最明智的行动方针吸引了近．还有一个能力的问题:很少有人认为非营利研究机构有很大的机会成为第一个构建人工智能的机构。亚博体育官网然而，我担心的是，在人工智能诞生仅几十年后，世界精英们才会发现认真对待这个问题是一件时髦的事，而在那个时候，开发友好人工智能的数学将是特别困难的。人类将被迫在自己的生存上孤注一掷，借助我们几乎没有理由信任的强大人工智能。↩
  2. 人们可能会认为有效的利他主义是一个简单的应用决策理论关于慈善事业的话题。所有类型的慈善机构(个人、团体、基金会等)都会问自己:“考虑到我们所关心的事情，我们如何选择能够(在预期中)尽可能多地做好事的慈善行为(例如捐赠)?”以下的共识建议所有不确定性下的各种选择，包括慈善选择，都是期望效用最大化(Chater & Oaksford, 2012；彼得森2004.；斯坦1996年；施密特1998: 19)。不同的慈善机构有不同的价值，但决策理论认为，如果他们每个人都能最大化自己的预期效用，他们就能得到他们想要的最大价值。最大化期望效用的选择在这个意义上是“最优的”，因此有效利他主义的另一个术语是“最佳慈善事业．” Note that effective altruism in this sense is not too dissimilar from earlier approaches to philanthropy, including高影响慈善事业(“考虑到投入的资本数量，最大的区别可能是”),战略性慈善事业，有效的慈善事业,聪明的慈善事业．还要注意的是，有效利他主义并不是说一个慈善代理应该对结果指定完整的效用和概率函数，然后用最高期望效用来计算慈善行为——这对有界代理来说是不切实际的。我们必须记住决策的规范性模型、描述性模型和规范性模型之间的区别(Baron 2007):“规范性模型告诉我们如何根据背离理想标准来评估……决策。”描述性模型具体说明了特定文化中的人们实际做什么，以及他们如何偏离规范模型。规范性模型是设计或发明，其目的是使实际思维的结果更接近于规范性模型。”的说明性的关于有限慈善代理人应该如何做才能使他们的慈善选择的预期效用最大化的问题，往往是极其复杂的，也是有效利他主义团体进行的大多数研究的主题。亚博体育官网↩
  3. 看到的,例如:高效的慈善机构，有效率的慈善:善待他人，政治的慈善机构，慈善中的启发式和偏见，公共选择与利他主义者的负担，论慈善和线性效用，人类最理想的慈善事业，单独购买Fuzzie和Utilols，金钱：关怀的单位，优化模糊和犹太人：利他主义芯片罐，高效的慈善:本地与全球方法，发展中国家援助的有效性，反对人体冷冻&为了具有成本效益的慈善，贝叶斯调整不能战胜存在风险慈善，如何拯救世界,什么是最佳慈善事业？↩
  4. 我相信贝克斯特德和博斯特罗姆为研究界做出了巨大的贡献亚博体育官网框架,一个共享语言讨论轨道变化、存在风险和机器超级智能。当与我的同事讨论这些话题时，通常情况下，交谈的第一个小时只是花在试图理解对方在说什么——他们是如何使用他们使用的术语和概念的。Beckstead和Bostrom最近的工作将使研究者之间的交流更加清晰和有效，从而提高研究效率。亚博体育官网虽然我不知道任何关于共享语言对研究效率影响的受控实验研究，但共享语言被广泛认为对任何研究领域都有很大的好处，我将提供一些出现在印刷中的例子。亚博体育官网Fuzzi等人(2006)：“使用不一致的术语可以很容易地导致来自大气和气候研究的不同[学科]的专家之间的沟通的误解和混淆，因此可能会妨碍科学的进步。”亚博体育官网Hinkel (2008):技术语言使它们的用户，例如科学学科的成员，能够就感兴趣的领域进行有效的交流。Madin等人(2007):“术语的歧义减缓了科学的进步，导致了研究的重复，最终阻碍了生态科学的统一基础。”亚博体育官网↩
  5. 除了Beckstead的论文，还要参见天文浪费论的调整建议．↩
  6. Beckstead没有提到这一点，但我想指出，Beckstead的论点不需要道德现实主义。事实上，我通常接受Beckstead的论点，即使大多数哲学家不会认为我是一个道德现实主义者，虽然在某种程度上是一个语义辩论（Muehlhauser 2011.；乔伊斯2012）.如果你是一个道德现实主义者，你相信你的直觉道德判断是道德正确的数据，那么Beckstead的论点(如果成功的话)会告诉你什么是道德正确的，你应该怎么做，如果你想以道德上好的方式行事。如果你是一个道德上的反现实主义者，但你认为你的直觉判断是关于你看重什么的数据——或者是关于如果你有更多时间思考你的价值观以及如何解决它们之间的矛盾，你会看重什么——那么Beckstead的论点(如果成功的话)就能说明你看重什么，以及如果你想帮助实现你看重的东西，你应该做什么。↩
  7. 卡诺夫斯基称之为"主要材料的影响．”↩
  8. 看到博斯特罗姆(即将出版)为了一个扩展的论证。机器超级智能最有可能的败者可能是，在人类水平的人工智能被创造出来之前，全球灾难可能会阻碍科学进步。↩
  9. 在个人交流中，贝克斯特德建议(但不一定支持)博客文章的主要内容中粗略描述的如下正式化论点:“(1)大致上说，人类的未来才是最重要的。(2)人类的未来对机器智能将如何展开的高度敏感，远远超过了其他任何事物。(3)因此，有一个非常强烈的推定，支持从事任何项目，使机器智能以更好的方式展开。(4) FAI研亚博体育官网究是使机器智能更好发展的最有前途的途径。(5)因此，有一个非常强的假设是有利于进行FAI研究。”亚博体育官网Beckstead (2013)检查(1)的情况。博斯特罗姆(即将出版)前提(3)非正式地遵循(1)和(2)，结论(5)非正式地遵循(3)和(4)。在我看来，前提(4)是论证中最可疑的部分，在现存的文献中探究得最少。↩