与埃利泽·尤多科夫斯基谈话的转述文本。
面试官我很想从你那里得到一个关于“友好AI中的开放问题”的澄清。本雅·法伦斯坦的逻辑不确定性问题解决这与对逻辑事实的不确定性有关，因为代理没有足够的计算能力来推断。但是:我听过几个不同的东西，叫做“逻辑不确定性问题”。其中一个是“中微子问题”，如果你是贝叶斯主义者，你不应该100%确定2 + 2 = 4。因为中微子可能会在错误的时刻扰乱你的神经元，并毁了你的信念。
以利以谢:看到也怎样使我相信2 + 2 = 3．
面试官:没错。即使在一个概率系统中，比如亚博体育苹果app官方下载贝叶斯网例如，某些部分的总和必须是1的概率，贝叶斯网络的结构中还包含其他逻辑假设，AI可能希望这些假设具有不确定性。这就是我所说的“中微子问题”。我不知道你们认为这是个多大的问题，也不知道这和你们通常所说的"逻辑不确定性问题"有多大关系
以利以谢我认为有两个问题。当您在嘈杂的处理器上运行程序时，就会出现一个问题，对于人类程序员来说，使用足够的冗余运行并进行足够的检查以将错误概率降低到几乎为零似乎是相当简单的。但是，与您在推理其预期效用时愿意接受概率结果时可能编写的程序相比，这大大降低了效率。
还有一个关于Friendly AI的行动标准和自我修改标准的大问题，即我当前的所有想法仍然是在你将错误概率降至几乎为零后证明事情是正确的。但这可能不是一个良好的长期的解决方案,因为从长远来看你会想要一些行动的准则,让AI复制自身到not-absolutely-perfect硬件,或硬件冗余级别的,没有被运行,我们试图压低错误概率为2-64年或者接近于0。
面试官:这似乎和你经常说的“逻辑不确定性问题”是不一样的。是这样吗?
以利以谢当我说“逻辑不确定性”时，我通常说的是，你相信皮亚诺算术，现在给Gödel的皮亚诺算术的陈述赋一个概率。或者你还没检验过，239427是质数的概率是多少?
面试官你认为这两个问题之间有很大的联系吗?
以利以谢:还没有。第二个问题是相当基本的:我们如何接近逻辑事实，我们不是在逻辑上无所不知?特别是当你对你正在运行的复杂算法有不确定的逻辑信念时你在计算相对于这些复杂算法的自我修正的预期效用。
你所说的中微子问题会出现即使我们处理的是物理不确定性。它来自于计算机芯片的错误。它甚至出现在逻辑全知的存在，当你在一个可能出错的物理计算机芯片上构建一个你自己的副本。所以，第二个问题似乎没有那么难以形容了。它们最终可能会出现同样的问题，但在我看来，这并不明显。
你喜欢这个帖子吗?您可以享受我们的另一份对话的帖子,包括:
