Daniel Roy概率编程和AI

卢克·穆罕沃斯：摘要Ackerman，Freeer和Roy（2010）开始：

作为计算机科学的归纳推理和机器学习方法，参见持续成功，研究人员旨在描述更复杂的概率模型和推理算法。亚博体育官网机械化概率推理的限制是什么？我们调查有条件概率的可计算性......并表明，有可计算的联合分布具有非转化条件分布，从而排除了一般推理算法的前景。

你的结果（与Ackerman和Freeer）在什么意义上排除了一般推理算法的前景？

丹尼尔罗伊：首先，重要的是要强调，当我们说“概率推论”我们指的是计算问题条件概率，同时突出了贝叶斯统计分析中的调节作用。

贝叶斯推理中心周围所谓的后部分布。从主观主义的角度来看，后验代表了一个人在查看（即，调节）数据后的更新信念。在数学上，后部分布只是条件分布（并且每个条件分布都可以在一些统计模型中被解释为后部分布），因此我们对调节的可计算性的研究也存在计算后部分布的问题贝叶斯分析中的核心计算问题之一。

其次，重要的是要澄清我们的意思是“一般推论”。在机器学习和人工智能（AI）中，凭借定义正式语言的漫长传统，其中一个人可以在一系列变量上指定概率模型。定义分布可能很困难，但这些语言可以使其更加简单。

然后，目标是设计可以使用这些表示来支持重要操作的算法，如计算条件分布。贝叶斯网络可以被认为是一种语言：通过在这些变量上指定图形来指定变量集合的分布，这将整个分布分解为与每个节点对应的“本地”条件分布，它们通常代表本身作为概率表（至少在所有变量仅采用有限一组值的情况下）。在一起，图形和本地条件分布决定了所有变量的唯一分布。

支持整个各类的所有有限，离散，贝叶斯网络的推理算法可能被称为一般，而是作为一类分布，具有有限的离散贝叶斯网络是相当小的。

在这项工作中，我们对在非常大类的分布阶段工作的算法的前景感兴趣。即，我们正在考虑可分布的类别，即存在可以使用例如均匀分布的随机数或独立硬币作为随机性的源来生成样本的概率程序的分布类别。可分配的类是自然的，实际上它等同于可计算分布的类，即，我们可以设计那些从开放集的描述计算概率的算法。可分配的类也等同于我们可以从有界连续功能的描述中计算期望的分布式。

从某种意义上说，可分布的类是您可能希望处理的最富有的阶级。我们问的问题是：在有一个算法中，给定两个变量x和y上的可分布，由两个变量的值示出的程序，可以计算x = x的条件分布，因为几乎所有值为x？当x在有限的离散集中取值时，例如，当x为二进制值时，存在一般算法，但它效率低下。但是，当x是连续的时，例如，当它可以在单位间隔中的每个值进行时，则可能会出现问题。特别地，在[0,1]中存在一对数字的分布，其中一个数字可以从中生成完美的样本，而是不可能计算给另一个变量的条件概率。正如人们所期望的那样，证明会减少对调节特制分布的停止问题。

该病理分布规定了一种用于调节的一般算法（等效地，对于概率推断）的可能性。纸张通过给出一些进一步的条件，当存在时，允许一个人设计一般推理算法。熟悉有限维统计模型的计算条件分布的人不会感到惊讶地发现贝叶斯定理所需的条件是一个示例。

卢基：在您的论文中（也许也许在其他地方）您对概率规划对AI的相关性表示特别兴趣，包括AI的原始目标，建立竞争对手的机器。您如何描述概率规划对AI的长期梦想的相关性？

丹尼尔：如果您查看早期概率编程系统，它们由AI研究人员建造：De Raedt，Koller，Mcalle亚博体育苹果app官方下载ster，Muggleton，Pfeffer，Poole，Sa亚博体育官网to，名称。教会语言在与MIT的研究生虽然是MIT的研究生，但在Conawitz，Mansinghka，Goodman和Tenenbaum中介绍的教会语言被构思，最重要的是给我们一种富有的语言来表达模型的范围那人们在我们周围发明。所以，对我来说，总是有深入的联系。另一方面，机器学习界整体对AI有点过敏，因此对该社区的音调更常见地务实：这些系统可以有一天可以让专家设想，原型和部署更大的概率系统，以及亚博体育苹果app官方下载同时，赋予更大的非普通社区使用概率建模技术来了解他们的数据。这是DARPA的基础PPAML.计划，该计划在未来4年内为8岁或以便为工程师提供可扩展系统。亚博体育苹果app官方下载

从AI角度来看，概率计划是知识的极其一般表示，以及一个与随机计算的不确定性识别的人。Freeer，Tenenbaum，我最近写道一章对于使用经典医学诊断示例的图灵百年来展示概率计划的灵活性和用于执行概率调节的一般查询运算符。不可否认，书籍章节忽略了查询运营商的计算复杂性，并且对AI的任何严肃提案都无法无限期地完成这一问题。了解何时我们能够在新的观测中能够有效地更新我们的知识，这是一个丰富的研究问题来源，既有应用与理论，跨越AI和机器学习，也是统计，概率，物理，理论计算机科学等。亚博体育官网

卢基：将查询作为一个“玩具模型”是公平的，我们可以以具体方式合作，以获得更多普遍的见解，以获得长期AI研究议程的某些部分，即使查询不太可能在先进中直接实施亚博体育官网AI系亚博体育苹果app官方下载统？（例如，这就是我对AIXI的看法。）

丹尼尔：我会毫不犹豫地呼叫查询玩具模型。条件概率是掌握的困难概念，但是对于那些擅长的人来说，在推理方案的执行时，查询大大揭示了概念。查询是概率调节的重要概念模型。

也就是说，我们在我们的图灵文章中存在的简单猜测和检查算法及时与一个是调节的事件/数据的概率成反比。在大多数统计设置中，作为数据点的数量的函数，数据集的概率逐渐衰减，因此猜测和检查仅在这些设置中使用玩具数据集的推理仅用。它应该毫不奇怪地听到最先进的概率编程系统没有这样的意义。亚博体育苹果app官方下载

另一方面，查询是以基本的方式实现的，可用于代表和原因概率上关于任意计算过程，无论它们是垃圾邮件到达时间的模型，通过网络的疾病传播，还是光线击中我们的视网膜。计算机科学家，尤其是那些可能对概率和统计数据的范围有狭隘观点的狭隘观点，将在他们理解查询后看到这些字段之间的重叠更大。

对于熟悉AIXI的人，差异是希望清楚的：查询在作为输入给出的模型中执行概率性推理。另一方面，AIXI本身就是“通用”模型，虽然不是可计算，但可能预测（超级）智能行为，是我们（RecestageLyly）能够执行必要的概率推论（并提供足够的数据）。Hutte给出了对AIXI实现近似的算法，但其计算复杂性仍然是指数级在空间中的尺度。艾基在许多方面令人着迷：如果我们忽略计算现实，我们会为AI提供完整的提案。另一方面，AIXI及其近似采取了这种计算余地的最大优势，因此最终是不满意的。对我来说，AIXI和相关的想法强调了AI必须尽可能多地研究普遍的学习。哪些可能无法验证但有用的假设将使我们能够有效地代表，更新和在不确定性下的知识上行动？

卢基：你写的那个“AI必须尽可能多地研究它是普遍的。”当然，大多数AI科学家都在努力，即近期申请。在您的观点中，在AI中的普遍存在的其他工作示例是什么？Schmidhuber的哥德尔机器来到思想，也有一些工作，可能在逻辑或正规哲学部门作为计算机科学部门 - 例如，也许在逻辑前锋上工作 - 但我很想听到你正在考虑的工作。

丹尼尔：我不会等同于任何两个特定的，近期或应用。通过特别的话，我指的是，例如，我们的环境影响的方式，但也受到我们的思想，特别是通过社会的影响。更具体地说，我们大多数人的身体空间都花在我们经常用来考虑我们的日常活动的日子和心理概念是人类思维的产品。但更重要的是，这些身体和精神空间必须由我们的思想轻松导航的空间。在AI的背景下，这种相互作用脱落的共同效果并不很好地研究。在这个周期占主导地位的范围内，我们希望一个普遍的ai真正存在。另一方面，利用人类构建体的限制可能让我们构建更有效的AIS。

至于通用，我对噪声能够呈现可计算或甚至有效地计算的理想操作的方式感兴趣。在我们对讨论中早些时候提出的调理的可计算性的工作中，我们表明向随机变量增加足够平滑的独立噪声允许我们在我们不可能否则的情况下执行调理。其他地方有这个想法的例子。例如，Braverman，Grigo和Rojas在动态系统中的研究噪声和难触伤性。亚博体育苹果app官方下载具体地，他们表明计算表征动态系统的长期统计行为的不变度量是不可能的。亚博体育苹果app官方下载道路块是动态系统本身的计算能力。亚博体育苹果app官方下载然而，对动态的少量噪声减少了动态系统的计算能力，并且足以使得不变度量可计算。亚博体育苹果app官方下载在一个受噪声的世界（或者至少是良好的建模），似乎许多理论障碍物融化了。

卢基：谢谢，丹尼尔！