詹姆斯D. Miller.是经济学副教授史密斯学院．他是奇点上升那工作中的博弈论那和一个微观经济学教科书的原则以及几个学术文章。
他在芝加哥大学和J.D.来自斯坦福法学院的经济学博士学位法律评论．他是人体冷冻提供商的成员第五星和Miri的亚博体育官网研究顾问。他目前正共同撰写一本关于更好的决策应用理性中心可能会成为下一版的编辑奇点的假设书。他是一个犯下的生物黑客目前正在练习或消费史前饮食那neurofeedback.那冷热生成那间歇性禁食那大脑健康视频游戏那聪明的药物那防弹咖啡,理性培训．
卢克·穆罕伯勒：你的书里有一章奇点假说描述了一个正在努力创造的未来企业面临的一些不寻常的经济激励美国国际集团．为了解释你的观点，你做了一个简化的假设，即“一个公司试图构建一个AGI将导致三种可能的结果之一”:
- 不成功的:该公司未能创造AGI，损失了其所有者和投资者的价值。
- 富有:公司创造了AGI，为其所有者和投资者带来了巨大的财富。
- Foom:公司创建了AGI，但这个事件很快就破坏了货币的价值，例如通过an智能爆炸消除了稀缺性，或没有钱的奇怪世界，或灭绝人类。
这样的设置如何让我们看到一个致力于创建AGI的未来企业所面临的不同寻常的激励?
詹姆斯·米勒:一个巨大的小行星可能会击中地球，如果它会摧毁人类。你应该愿意打赌你拥有的一切，即小行星会想念我们的星球，因为你要么赢得你的赌注，或者阿姆齐森渲染赌场无关紧要。同样，如果我要开始一家公司，他们将使投资者非常丰富或创造一个Foom这就破坏了金钱的价值，你应该愿意为我的公司的成功进行大量的投资因为要么投资会有回报，要么你做任何其他类型的投资都不会做得更好。
假设我想创建一个可控的AGI，如果成功了，我就会赚很多富有对于我的投资者。起初我打算遵循一个研究和开发路径，如果我无法实现亚博体育官网富有，我的公司将是不成功的对世界没有重大影响。不幸的是，我无法让潜在的投资者相信我成功的可能性富有足够高，可以让我的公司值得投资。投资者分配太大的可能性，即其他潜在投资将超越我公司的股票。但后来我培养了一个邪恶的替代研究和发展计划，我有完全相同的实现概率亚博体育官网富有如前所述，但现在，如果我未能创建一个可控的AGI，一个不友好的Foom会破坏人性。现在我可以如实地告诉潜在的投资者，任何其他公司的股票都是不太可能的股票。
卢克:在小行星的情况下，投资者(我)没有能力影响小行星是否撞击我们。相比之下，假设投资者希望避免资金毁损的风险，他们可以做一些事情:他们可以简单地不投资于项目，以创建可控的AGI，他们也可以鼓励其他人不要投资于该项目。如果危险的AGI项目未能获得投资，那么这些潜在投资者不必担心资金的价值——或者实际上他们的生命——会被那个特定的AGI项目破坏。
为什么投资者会为某些有可能摧毁一切的机会提供资金的东西？
詹姆士：考虑一个可能包含极其有价值金属的矿井。唉，挖掘我的挖掘可能会唤醒那个秃头，然后将摧毁我们的文明。我来找你要求钱资助我的采矿探险。当你提出关于俾郎的担忧时，我解释说，即使你不为我提供资金，我可能会在其他地方拿到这笔钱，也许来自那些不相信Balrogs的众多人之一。另外，因为你只是许多人中的一个，我希望能够回到我的人中，即使我从不弥补失去投资，我将几乎肯定仍然获得足够的资金来挖掘Mithril。即使你设法停止我的采矿业务，别人也将最终工作。至少，Mithril的军事价值最终会导致一些国家寻求它。因此，如果矿井确实含有一个容易唤醒的博罗格，无论你做什么，我们都死了。因此，由于您别无选择，只能承担矿井的下行风险，我解释说，您可能会和我一起投入一些资金，这样您也可以分享上行福利。
如果你是一个自私自利的投资者当决定是否投资于你不要看AGI-seeking公司(a)公司将摧毁人类的概率,而是考虑人类遭到破坏的概率(b)如果你投资公司-如果你不投资的概率。对大多数投资者来说(b)将是零，或者至少是非常非常小，因为如果你不投资该公司，其他人可能会取代你的位置，该公司可能不需要你的钱才能运营，如果这家公司不追求AGI，其他公司几乎肯定会。
卢克:谢谢你的澄清。现在我想给你一个机会回答批评你的人。作为对你书中罗宾·汉森章节的回应写了：“[Miller的分析]只有作为其基于假设的实用性。米勒的选择假设似乎非常极端，而且不太可能。“
如果他可以澄清（并被引用），我问汉森，他告诉我：
在[此]上下文中，假设是：“单个公共文件一次性系统开发整个系统。亚博体育苹果app官方下载．．．它在成功中很快就是没有机会对别人做出反应 - 世界在一夜之间反弹。“我会认为整个AI行业，每个公司只能占总产品的一小部分，并与其他几家公司竞争，以使那个小部分。每个公司的每一个新的创新只会为那个小部分的能力增加一个小部分。
汉森还对你的书写了一些评论奇点上升在这里．
您如何回复Hanson，了解在AGI工作的经济激励措施？
詹姆士：汉森认为情报爆炸的可能性很小。如果你充分低估了这种可能性，我这一章的分析就毫无价值了Foom．
但大小是因为Eliezer Yudkowsky.，我确实认为有一个重大的机会，他们是一个智能爆炸，AGI在几天内从人类水平的智能到一些更聪明的数量级。我所描述的奇点上升这是如何发生的:
出于某种原因，人类级别的人工智能被创造出来，希望提高其认知能力。AI会检查自己的源代码，寻找增强自身的方法。在发现一个潜在的改进后，原始AI会复制自己并添加增强功能。原始人工智能然后测试新的人工智能，看看新的人工智能是否比原始人工智能更聪明。如果新的AI确实更好，它将取代当前的AI。然后，这个新的人工智能会反过来增强它的代码。因为新AI比旧AI更聪明，所以它能找到旧AI无法找到的改进。这一过程不断重复。
智能是一个反思超级大国，能够打开自己来破译自己的工作。我认为AGI可能存在一些智能阈值，其智能基于易于改变和可测试的计算机代码，可以Foom．
然而，汉森的观点是正确的，情报爆炸将代表着与过去所有技术发展的巨大突破等等外形图技术支持他的立场，我选择的假设是“相当极端，非常不可能。”
卢克:我想尤多科夫斯基会回答说有许多外界的看法，其中一些认为情报将迅速爆炸，而另一些则不然。例如在智能爆炸微观经济学他认为，从外界对大脑大小和人类进化的看法来看，AGI会导致智力爆炸。我自己喜欢的解决方案参考类网球是把每个外部视角作为现象如何运作的模型，承认我们模型的不确定性，然后使用类似模型组合弄清楚我们的后验概率分布应该是什么。
好的，最后一个问题。你现在在做什么？
詹姆士：我正在合作一本关于更好地决策的书应用理性中心．虽然这本书仍处于早期阶段，但它可能基于短，原始的虚构故事。我也可能是下一个版本的编辑奇点的假设书。
卢克:谢谢你,詹姆斯!
你喜欢这个帖子吗?你可以享受我们的另一个谈话的帖子,包括:
