这是与埃利泽·尤多科夫斯基谈话的转述文本。
面试官假设你正在和一位聪明的数学家谈话，他看起来可能具备在一个友好的人工智能团队中工作所需的技能。但是，他说，“我理解人工智能风险的一般问题，但我只是不相信你能提前到目前为止知道哪些特别的事情是有用的。”你现在提到的任何问题都不太可能是30或80年后人工智能发展时的问题。我们现在所做的任何技术研究都亚博体育官网依赖于对世界的一套高度一致的信念，我们不应该对我们可以预见那么遥远的未来抱有太多信心。”你对数学家的回答是什么?
以利以谢首先，我会让他们阅读我们正在处理的一个特定技术问题的描述，例如“Löb问题”。我现在正在写一篇关于它的描述。所以我向数学家展示了这个描述，然后说:“不，这个试图让AI编写类似AI的问题似乎是一个相当基本的问题，Löb问题阻止了它。事实是，即使拥有无限的计算能力，我们也不知道如何做这些事情，这是令人担忧的。”
一个更抽象的论点应该是这样的:“你确定同样的思维方式不会妨碍你解决任何重要问题吗?”你确定你不会回到过去告诉艾伦·图灵不要发明图灵机因为谁知道计算机会不会真的那样工作?他们不是那样工作的。真正的计算机不太像这种形式主义，但图灵的工作还是有用的。”
面试官你我都认识一些人，他们对人工智能的风险非常了解，但对于目前最好的应对方法是什么，他们仍然有更多的不确定性。也许还有很多其他有前途的干预措施，比如追求认知增强，或者做fhii式的研究，寻找我们尚未找到的关键因素——比如德雷克斯勒发现了分子纳米技术，或者舒尔曼发现了用于激进智力放大的反复胚胎选择。亚博体育官网或者，也许我们应该把安全模因放到AGI社区中，因为现在还不能准确地判断哪些问题会产生影响，特别是如果你有一个更长的AI时间范围。你对这一推理有何回应?
以利以谢:在一个小时的元推理之后，而不是一年的元推理之后，完成你当前的首要任务。如果一年后你还在说"不，不，我们得多想点超能力"那我不相信你是那种会演戏的人。
例如,保罗global并没有犯这个错误，因为Paul是在解决FAI问题而寻找其他有希望的干预措施。对此我没有什么反对意见。如果他后来想出了一些他认为更重要的特殊干预，我会问具体的情况。
尼克·博斯特罗姆也不会犯这个错误。他做了很多元策略方面的工作，但他也研究人择概率规范不确定性的议会模型和其他物体层面的东西，他还邀请了像安德斯·桑德伯格这样的人他们写了一些关于上载与我们的政策决定相关的时间轴的论文。
当人们总是说“也许我们应该做些别的事情”时，我会说，“做一个临时决定，开始对这个临时决定采取行动，必要时再重新考虑这个决定。”但如果你总是想变元只是因为可能有更好的东西才想变元，那你就永远不会做某事关于这个问题。
你喜欢这个帖子吗?你可以享受我们的另一个对话的帖子,包括:
