与埃利泽·尤多科夫斯基谈话的转述抄本。
面试官:我想从你那里得到一个关于“友谊赛AI的开放问题”的澄清。本雅·法伦斯坦的逻辑不确定性问题解决与逻辑事实的不确定性有关代理没有足够的计算能力来推断。但是:我听说过一些不同的东西叫做“逻辑不确定性问题”。其中一个是“中微子问题”,如果你是贝叶斯,你不应该100%肯定2 + 2 = 4。因为中微子可能会在错误的时刻扰乱你的神经元,扰乱你的信念。
以利以谢:看到也如何说服我2 + 2 = 3.
面试官:没错。即使是在概率系统中亚博体育苹果app官方下载贝叶斯网例如,某些部分的总和必须是1的概率,贝叶斯网的结构中还包含其他逻辑假设,而AI可能希望这些假设具有不确定性。这就是我所说的“中微子问题”。我不知道你们认为这是一个多大的问题,也不知道它和你们通常所说的"逻辑不确定性问题"有多大的关系
以利以谢我认为有两个问题。当您在嘈杂的处理器上运行程序时,会出现一个问题,对于人类程序员来说,使用足够的冗余运行并进行足够的检查将错误概率降至几乎为零似乎是相当简单的。但这大大降低了效率,如果你愿意接受概率结果,你就可以编写这样的程序,当你在推理他们的期望效用时。
还有一个关于Friendly AI的行动准则和自我修正准则的大问题,即我当前的想法仍然是在你将错误概率降至几乎为零后去证明事物的正确性。但这可能不是一个良好的长期的解决方案,因为从长远来看你会想要一些行动的准则,让AI复制自身到not-absolutely-perfect硬件,或硬件冗余级别的,没有被运行,我们试图压低错误概率为2-64年或者说,非常接近于0。
面试官这似乎与你经常谈论的“逻辑不确定性问题”不同。是这样吗?
以利以谢当我说“逻辑不确定性”时,我通常说的是,你相信皮亚诺算术,现在给Gödel的皮亚诺算术的陈述赋一个概率。或者你还没检查,239427是质数的概率是多少?
面试官你认为这两个问题之间有很多联系吗?
以利以谢:还没有。第二个问题是相当基本的:我们如何近似我们在逻辑上不是无所不知的逻辑事实?特别是当你对你运行的复杂算法有不确定的逻辑信念时你在计算相对于这些复杂算法的自我修正的期望效用。
你所说的中微子问题会出现,即使我们处理的是物理不确定性。它来自于计算机芯片的错误。它甚至出现在逻辑无所不知的情况下,当你在物理计算机芯片中构建自己的副本时,它可能会出错。所以,第二个问题似乎没有那么不可言说。它们最终可能是同一个问题,但在我看来,这并不明显。