嵌入式世界型号

||yabo app

一个比它的环境更大的代理可以:

  • 在它的头脑中保持一个精确的环境模型。
  • 认为通过后果每个潜在的行动方案。
  • 如果它不完全不知道环境,请保持每一个可能的大大地贝叶斯不确定性的情况,环境可能是头部的头脑。

所有这些都是典型的理性代理概念。

一个嵌入式代理不能做这些事,至少不能直接做。

emmy嵌入式代理人

其中一个难点是,由于代理是环境的一部分,因此在每个细节中建模环境将要求代理以每个细节来建模本身,这将要求代理人的自我模型成为整个代理的“大”。代理人无法融入自己的头部。

缺乏清脆的代理/环境边界迫使我们抓住自我引用的悖论。好像代表世界其他地方都没有足够的困难。

嵌入式世界型号必须以更适合嵌入式代理商的方式代表世界。此集群中的问题包括:

  • “真实性”/“真理之粒”问题:现实世界不在代理人的假设空间
  • 逻辑不确定性
  • 高级模型
  • 多级模型
  • 本体论的危机
  • 归化诱导,代理人必须将其自身模型纳入其世界模型的问题
  • 人择推理,一个关于你有多少个副本的推理问题

阅读更多 ”

决策理论

||yabo app

决策理论和人工智能通常试图计算类似的东西

$ $ \暗流{\ \中\行动}{\ mathrm {argmax}} \ \ f (a), $ $

也就是说,最大化动作的某些功能。这倾向于假设我们可以把事情弄得足够复杂,将结果视为行动的函数。

例如,AIXI将代理和环境表示为独立的单元,它们通过明确定义的i/o通道进行交互,这样它就可以选择最大化回报的行动。

艾基

当代理模型是环境模型的一部分在美国,如何考虑采取替代行动可能就不那么清楚了。

嵌入式代理

例如,因为代理是比环境小,可以存在代理的其他副本,或与代理非常相似的东西。这导致了有争议的决策理论问题,如双胞胎囚犯的困境和纽科姆的问题

如果埃米模型1和埃米模型2有相同的经历,运行相同的源代码,埃米模型1是否应该表现得像她的决定是在同时控制两个机器人?根据您如何划分“自己”的边界,您可能认为您可以控制两个副本的动作,或者只控制您自己的。

这是反事实推理问题的一个实例:我们如何评估假设的问题,如“如果太阳突然消失了怎么办”?

适应的问题决策理论嵌入式代理人包括:

  • 反设事实
  • 纽库姆式推理,在这种推理中,代理与自身的复制品相互作用
  • 更广泛地了解其他代理
  • 敲诈勒索问题
  • 协调问题
  • 逻辑反设事实
  • 逻辑updatelessness

阅读更多 ”

2018年10月通讯

||时事通讯

宣布新的人工智能对接论坛

||客人帖子消息

这是由LessWrong的首席开发者Oliver Habryka所写的一篇客座文章。我们感谢LessWrong团队为开发这个资源所付出的努力,并祝贺今天的发布!


我很高兴地宣布,经过两个月的开放测试版,AI对齐论坛今天推出。AI对齐论坛是由团队建造的新网站LessWrong 2.0,帮助为技术AI对准研究和讨论创建新的集线器。亚博体育官网

我们设计这个论坛的核心目标之一,就是让新人更容易开始进行人工智能技术校准研究。亚博体育官网这项工作分为两个主要部分:

阅读更多 ”

嵌入式代理人

||yabo app

假设你想要制造一个机器人来为你实现一些现实世界的目标——这个目标需要机器人自己学习,并找出许多你不知道的东西。1

这里有一个复杂的工程问题。但还有一个问题,就是要弄清楚构建这样一个学习代理到底意味着什么。如何优化物理环境中的现实目标?从广义上讲,它是如何工作的?

在本系列文章中,我将指出四种方法目前我们知道它是如何工作的,并且有四个领域的积极研究旨在弄清楚它。亚博体育官网

这是Alexei,Alexei正在播放视频游戏。

Alexei The Dualistic Agent

就像大多数游戏一样,这款游戏也是如此清晰输入输出通道.Alexei只能通过电脑屏幕观察游戏,只能通过控制器操作游戏。

游戏可以被认为是作为按钮序列的函数,按下屏幕上的一系列像素。

阿列克谢也很聪明,有能力把整个游戏都记在脑子里.如果Alexei有任何不确定性,那也只是关于经验事实,比如他在玩什么游戏,而不是关于逻辑事实,比如哪个输入(对于一个给定的确定性游戏)将产生哪个输出。这意味着阿列克谢也必须在脑子里储存他可能玩的每一场游戏。

阿列克谢但是,难道不需要考虑自己吗.他只是优化他正在玩的游戏,而不是优化他正在使用的大脑来思考游戏。他可能仍然可以根据信息价值选择行动,但这只是帮助他排除他正在玩的可能游戏,而不是改变他的想法。

事实上,Alexei可以把自己视为一个不变的不可分割的原子.因为他并不存在于他所考虑的环境中,所以Alexei并不担心他是否会随着时间的推移而改变,也不担心他可能要运行的任何子程序。

请注意,我谈到的所有属性都是部分地实现的,即Alexei与他正在优化的环境干净地分开。
阅读更多 ”


  1. 这是第1部分嵌入式机构系列,由亚伯兰·德姆斯基和斯科特·加拉布兰特。

火箭对齐问题

||yabo app

以下是一个虚构的对话楼ai对齐:为什么它很难,从哪里开始


在一个不太接近的世界的某个地方,科学走上了截然不同的道路……

Alfonso:你好,贝丝。我注意到最近有很多关于“太空飞机”被用来攻击城市的猜测,或者可能被注入了居住在天国的邪恶灵魂,从而攻击他们自己的工程师。

我对这些推测相当怀疑。事实上,我对飞机能否在下个世纪的任何时候飞到与平流层气象气球一样高的高度持怀疑态度。但我理解你的研究所想要解决潜在的恶意或危险的太空飞机的问题,而且你认为这是一个重要的当代原因。

贝丝:这真的不是我们在意向火箭数学研究所的说法。

所有的新闻文章都在关注恶灵的问题,但我们认为真正的问题完全不同。我们担心有一个困难的,理论上具有挑战性的问题,这是现代火箭专家大多忽略了。我们担心的是,如果你将火箭瞄准月球在天空中的位置,并按下发射按钮,火箭可能不会真正到达月球。

Alfonso:我明白设计可以稳定飞行器在大风中飞行的鳍片非常重要。这是一个重要的太极板安全研究,有人需要这样做。亚博体育官网

但如果你正在进行这种安全研究,我希望你能与现代飞机工程师紧密合作,测试你的鳍设计,以证明它们确亚博体育官网实有用。

贝丝:空气动力学设计是任何安全火箭的重要特征,我们很高兴火箭科学家正在致力于这些问题并认真对待安全。但这不是我们在Miri专注的问题。

Alfonso:那是什么担忧,然后是什么?您是否担心航天可能会被虐待的人开发?

贝丝:这不是我们现在担心的失败模式。我们现在更担心的是没有人可以告诉你如何指出火箭的鼻子,使它到月球,也不是任何指定的目的地。从我们的角度来看,发射火箭的是谷歌、美国政府还是朝鲜,都不会对成功登月的可能性产生实际影响,因为现在没有人知道如何瞄准任何类型的火箭在任何地方

阅读更多 ”

2018年9月通讯

||时事通讯

夏天美里更新

||消息

在我们的最后一次重大更新 - 我们的2017年战略更新资金筹集活动帖子 - 我们表示,我们目前的重点是技术研究和执行我们最大的亚博体育官网招聘推动。我们的支持者在年底给予了我们令人难以置信的支持,使我们处于一个极好的位置来执行我们最雄心勃勃的增长计划。

在这篇文章中,我想提供一些关于我们招募工作和成功的最新进展,宣布一些我们已经收到的重大捐赠和奖助金,并提供一些其他的更新。

简而言之,我们的主要公告是:

  1. 我们有两个新的全职研究人员亚博体育官网雇用宣布。
  2. 我们收到了170万美元的主要捐赠和赠款,100万美元通过了加拿大MIRI支持者的税收优惠基金

有关详细信息,请参阅下文。

阅读更多 ”