MIRI是一个非营利亚博体育官网性的研究机构，专门研究理论计算机科学中尚未探索的一系列问题。GiveDirectly是一项现金转移服务，为东非的贫困家庭提供资金。什么样的会议才能把来自这些不同组织的代表——还有政策分析师、慈善家、哲学家等等——聚集在一起?
有效的利他主义全球，这是开始牛津会话几小时后，就是那种会议。有效的利他主义(EA)是一个多元化的社区，由一群有共同兴趣用科学工具解决世界上最大的问题的行善者组成。像GiveDirectly这样的EA组织有效利他主义中心，以及慈善评估者GiveWell呼吁在非营利部门建立透明度和人道主义影响的新标准，引起了巨大的轰动。
MIRI与有效利他主义有什么联系?在什么意义上，人工智能的安全研究是“利他主义”，亚博体育官网为什么我们认为这是一个非常重要的计算机科学领域在未来几十年?我将在下面快速回答这些问题。
MIRI和有效利他主义
为什么MIRI与EA相关?这在很大程度上是因为有效利他主义者和MIRI在决定优先做什么工作时使用了相同的标准。
美里的任务我们的观点是，科学和技术进步将是人类福祉的最大决定因素之一，就像历史上一样。亚博体育苹果app官方下载因此，自动化的智力劳动可能是一个独特的高影响的研究方向——无论是好是坏。亚博体育官网(见四个背景要求．)哪一个开放的问题我们所做的工作，在确定易于处理且被忽视的理论前提，以便将AI系统的目标与我们的价值观相一致时，就会失败。亚博体育苹果app官方下载(见美里的方法．)
丹尼尔·杜威，尼克·博斯特罗姆，伊隆·马斯克，内特·苏亚雷斯和斯图尔特·拉塞尔
在EA全球会议上讨论人工智能风险。图片由罗比阴影．
MIRI并不是唯一一个使用这些标准来确定重要病因领域和干预措施的组织，这些组织发现，联合起来是一种产生更大影响的有效方式。因为这些团体的成员并不是永久地囿于一个单一的事业领域，因为我们对我们共同的观点赋予了很大的价值，我们可以很容易地共享资源，并共同努力，以促进从这个观点中涌现出的许多令人兴奋的想法。这就是有效的利他主义社区。
这种有用的交流的一个例子是MIRI的前任执行董事卢克·米尔豪泽，离开米里在6月调查营养科学和其他领域潜在的慈善机会开放慈善项目它是GiveWell的一个分支机构。1反过来，OpenPhil帮助资助了一个大型AI赠款项目是MIRI参与的。
GiveWell/OpenPhil的工作人员给了我们非常有用的东西重要的反馈在过去的几年里，我们和他们有过很多次对话(1，2，3.，4，5)．尽管他们工作在一个更广泛的话题比米里和他们不分享我们所有的观点,他们的兴趣在寻找干预”的重要,相对宽敞的”并让他们挑出人工智能作为一种重要的区域调查原因米里的重叠。(见OpenPhil的3月全球灾难性风险更新以及他们最新发布的概述文档上来自先进人工智能的潜在风险．)
大多数东亚峰会的工作领域不包括人工智能风险，而MIRI的方法远非对人类福利产生巨大影响的唯一可行方法。因为我们试图基础决定广泛EA考虑,然而,因此最终促进EA-like哲学承诺当我们解释我们的研究背后的推理方法——我们最终形成牢固的关系有兴趣的其他许多人识别高影响力的人道主义干预措施。亚博体育官网
高风险和高概率风险
一个令人惊讶的普遍误解是，EA的起因领域可以分为三类:影响全球穷人的高概率危机;影响非人类动物的中等概率危机;以及低概率的全球灾难。假设(例如，in迪伦马修斯最近Vox文章)是关于人工智能安全或生物安全的争论:灾难发生的可能性非常小，但如果灾难真的发生了，它将是如此可怕，因此值得进行调查以防万一。
这误解了MIRI的立场——我相信，也误解了未来人类研究所(Future of Humanity Institute)和其他一些组织对技术风险感兴趣的人的立场。我们认为，如果我们不采取任何措施来避免失调的自主人工智能系统带来的存在风险是很有可能的，我们对MIRI的研究就是基于这一观点;亚博体育苹果app官方下载如果我们认为来自人工智能的风险不太可能出现，我们就会优先考虑人工智能协同研究，而不是其他紧迫的研究项目。亚博体育官网
因此，我们预计，在人工智能领域未来可能的发展轨迹上与我们有强烈分歧的EAs将致力于人工智能风险以外的领域。我们认为，EAs不应该“以防万一”向MIRI捐款yabo体育官网下载ios拒绝以“帕斯卡的抢劫”为基础的论证”(“帕斯卡抢劫这是MIRI研究人员为错误地专注于能带亚博体育官网来超指数巨大收益的极小概率的决策而创造的名字。)2
斯图尔特·罗素写道“无论选择何种效用函数，提高决策质量一直是人工智能研究的目标——这是我们现在每年花费数十亿美元的主流目标，而不是某个孤独邪恶天才的秘密阴谋。”亚博体育官网为了提高人工智能系统的一般能力，成千上万的工时正在投入研究，目的是构建能够在任意认知任亚博体育官网务中超越人类的系统。亚博体育苹果app官方下载
我们不知道什么时候这些努力将会成功，但我们期望它们最终会成功——可能在未来几十年，而且很有可能在本世纪内。加强安全保障对于自主人工智能系统来说，这将使我们亚博体育苹果app官方下载能够从人工智能的进步中获得更多的好处，同时在长期内显著降低发生全球性灾难的可能性。
MIRI的使命是让比人类更智能的人工智能技术可靠地造福人类，但它在“防止全球变暖”或“废除工厂化农业”等目标方面雄心勃勃。朝着这样的目标努力通常意味着取得一些渐进的进展，让其他演员可以在此基础上更进一步——这更像是每月拿出x美元作为孩子的大学基金，而不是买一系列一次性的x美元彩票。
一个特别的100美元不太可能对你孩子的职业前景产生巨大的一次性影响，但它仍然可以是一个明智的投资。没有任何一个慈善机构能够解决全球变暖的问题，但这并不意味着慈善捐款毫无用处。虽然MIRI是一个小组织，但我们的工作代表了更强大、透明和有益的人工智能系统的早期进展，然后可以由其他团队构建并集成到人工智能系统设计中。亚博体育苹果app官方下载3.
尽管如此，我并不是说人工智能介导的灾难是高概率的，而是说这样的灾难是高概率的，条件是人工智能研究继续在当前的轨道上进行。亚博体育官网如果人工智能领域转移到包括协同工作和能力工作在内的关键重点，灾难未必是高概率的。
这是因为我们也不认为人工智能是灾难不太可能也不不可避免的我们认为这个领域的技术工作很重要。从有抱负的有效的利他主义者的角度,将工作的最重要的风险,极有可能发生在不久的将来,如果我们什么也不做,但明显不太可能发生如果我们工作存在的问题,研究社区和科研机构参与其中。亚博体育官网
这些原则适用于人工智能领域之外，尽管MIRI目前是唯一的组织我们专注于AI对齐的长期技术研究，我们是试图以一种或另一种方式将这些潜在亚博体育官网的EA原则付诸实践的越来越多的组织之一。在这种程度上，尽管有效的利他主义者对改善世界的最佳方式存在分歧，但我们最终会发现我们是在同一个团队中。
- 尽管有效的利他主义是有时分裂分成不同的遥远未来、动物福利、全球贫困和“元”原因地区，这在某种程度上一直是人为的划分。托比·奥德是扶贫组织的创始人尽我们所能他是研究存在主义风险的顶尖学者之一，并在哈佛大学人文未来学院．David Pearce是EA中最强烈的动物行动主义支持者之一，以他的未来主义而闻名。彼得·辛格因早期推动全球贫困事业和促进动物福利而闻名。还有Anna Salamon，专注于“meta”的执行董事应用理性研究中心他是前MIRI研究员。亚博体育官网↩
- 引用2013年MIRI高级研亚博体育官网究员Eliezer Yudkowsky:
当涉及到存在风险时，我放弃、反驳和否认所有形式的帕斯卡式推理和将微小的可能性乘以巨大的影响。在我们生活的这个星球上，人类智能增强、分子纳米技术、足够先进的生物技术、脑-机接口，当然还有多种形式的人工智能等都有着即将到来的前景。如果某件事影响世界命运的可能性很小，那么就应该有一件更有可能产生同样巨大影响的事值得担心。[.．.]
澄清一下，“不要将小概率乘以大影响”是我应用于大型项目和历史概率线的东西。从很大程度上来说，如果你认为FAI(友好的AI)很有可能拯救世界，那么人类就应该投入大量精力于此，如果没有人投入更多精力于此，那么你就应该投入更多精力于此。规模较小,比较两个x-risk减排项目需求的钱,你需要估计一下边际的影响下添加工作量(utilons的共同货币应该不是救人,而是“一个好的结果的概率”,也就是说,结束了一个快乐的星际文明的概率)。在这种情况下，平均边际增加的美元只能解释非常小的概率，但这不是帕斯卡的赌注。带有成功或失败标准的大的努力是正确的、公正的，并且不可避免地会以每增加一小部分努力而获得微小的成功概率而告终。如果通往一个可行结果的整个路径都被分配了一个很小的概率，然后一个巨大的回报用来结束关于下一个努力单位是否应该到达那里或不同的x风险的进一步讨论，那么这将是Pascal的赌注。
- Nick Bostrom在EA Global也提出了类似的观点:AI是一个重要的原因，即使任何个人的行动都不太可能带来决定性的改变。面板人工超智,博斯特罗姆说,他认为人有“低”(相对于“高”或“中等”)AI风险概率的区别,马修斯和一些人似乎意味着博斯特罗姆认为人工智能是一个投机事业领域。然而，当我向博斯特罗姆询问他的本意时，他解释道:
我在EA全球评论中提出的观点是，你(对于观众中的任何“你”)将世界从AI灾难中拯救出来的概率非常小，而不是AI灾难的概率非常小。因此，人工智能风险研究类似于总统选举志愿活动。
你喜欢这篇文章吗?你可以享受我们的另一个yabo app 的帖子,包括:
