精益的非营利组织

||米里策略

可以精益创业方法对非营利组织有效吗?

精益创业《纽约时报》的作者埃里克·莱斯(Eric Ries)似乎是这么认为的:

创业是一种人类机构旨在创建一个新的产品或服务的极端条件下的不确定性…谁是创建一种新产品或业务极端不确定的条件下是一个企业家他或她是否知道与否,以及是否在政府机构工作,由风投注资公司,非营利组织,或者是拥有金融投资者的营利性公司。

在过去的一年里,我帮助成立了一个新的非营利组织(应用理性研究中心),我对一个较老的非营利组织(美里),我还咨询了许多非营利组织的首席执行官和董事。现在我想分享一些关于“精益非盈利”理念的初步想法。

阅读更多»

自然主义反思论文的初稿

||论文

更新:看概率逻辑中的反思以了解这一结果与MIRI的研究任务之间的关系。亚博体育官网

在最近的一次博客我们描述了第一届MIRI逻辑、概率和反思研讨会的成果之一:

参与者在概率反思推理的基础上工作。特别是,他们表明,一个仔细的形式化的概率逻辑可以绕过许多经典的悖论的自我参照。应用于元数学,这个框架提供了(似乎是)真理的第一个定义,这个定义足够表达,可以用于反思推理。

简而言之,结果描述的是一个“漏洞”好地undefinability定理(1936)。

描述这一结果的论文初稿现在已经发布:在这里下载.其作者是Paul Christiano (UC Berkeley)、Eliezer Yudkowsky (MIRI)、Marcello Herreshoff(谷歌)和Mihály Bárász(谷歌)。论文摘录如下:

不幸的是,任何表达性语言都不可能包含它自己的真谓词True...

对于这一挑战,有一些标准的回答。

第一个也是最流行的是使用元语言……

第二种方法是接受一些句子,比如说谎者的句子G,既非真也非假……

虽然这种构造成功地避开了“真理的不可定义性”,但还是有些不令人满意。在这些语言中,没有谓词来测试一个句子是否没有定义,也没有限制没有定义的句子的数量。事实上,如果我们特别关注自我参照,那么许多感兴趣的属性(而不仅仅是病态的反例)就变得不明确了。

在这篇论文中,我们证明了在概率逻辑上执行类似的构造是可能的。虽然语言不能包含它自己的真谓词“真”,但它仍然可以包含它自己的“主观概率”功能P.在反射特性1的适当模拟意义上,分配的概率在反射上是一致的。在实践中,大多数有意义的断言都必须以概率的方式处理,允许一些句子的概率介于0和1之间,这样做几乎不会造成损失。

将这一结果应用于集合论的另一篇论文即将发表。

3月通讯

||时事通讯

newsletterheader_sm_c.1

来自执行主任的问候

朋友,

正如前面宣布在我们的博客上,奇点研究所被重新命名为机器智能研究所(MIRI)亚博体育官网自然,我们的工作人员和支持者都对我们最初的名字——“奇点研究所”(Singularity Institute)产生了积极的联想。因此,任何新名字在一段时间内会感觉很陌生。然而,在过去的几个星期里,“MIRI”听起来越来越好,我们认为你也会越来越喜欢它。

有些人会担心,“但是‘MIRI’并没有详细地表达你所做的事情!”然而,根据我们的市场调查,这是“一个功能,而不是亚博体育官网一个bug”。亚博体育官网研究人员尤其表示,他们可能会觉得在一个名字听起来太狭隘或“偏袒”的组织工作很尴尬。他们还警告我们,一个组织的活动范围可能会随着时间的推移而改变,所以它的名称应该非常笼统。大学院系和独立研究机构很久以前就吸取了这些教训,因此往往有非常笼统的名称(大学亚博体育官网本身通常以其主要校园所在地命名)。

“MIRI”还有其他不错的特性。它很容易拼写,也很容易发音,它反映了我们把重点转向更多的技术研究。亚博体育官网当然,我们的使命依然不变:“确保比人类更聪明的智能的创造造福社会。”

查看我们的新网站Intelligence.org.网站指南在这里

我们的电子邮件也变了。一定要更新您的电子邮件联系人列表我们的新电子邮件地址,例如:luke@www.hdjkn.com。我们之前的邮箱地址singinst.org和singularity.org已经不能用了。您可以看到我们所有的新电子邮件地址团队页面。

欢呼,

路加福音Muehlhauser

执行董事

阅读更多»

即将到来的MIRI研究研讨会亚博体育官网

||新闻

从2012年11月11日至18日,我们举办了(我们现在称之为)第一届MIRI逻辑、概率论与反思研讨会.这个研讨会有四名参与者:

参与者在概率反思推理的基础上工作。特别是,他们表明,一个仔细的形式化的概率逻辑可以绕过许多经典的悖论的自我参照。应用于元数学,这个框架提供了(似乎是)真理的第一个定义,这个定义足够表达,可以用于反思推理。将该框架应用于集合理论,提供了一个基于概率集合理论的实现不受限制的然而,理解却足够强大,可以形式化普通的数学推理(与类似的模糊集理论相反,模糊集理论最初是为了这个目的而提出的,但后来发现与数学归纳法不兼容)。

这些结果表明,可以使用类似的方法来解决这个问题Lob定理,但这还没有得到研究。这项工作将在今后几个月内完成。

与此同时,MIRI正在准备第二届MIRI逻辑、概率论与反思研讨会将于2013年4月3日至24日举行。这个工作坊将分为两个部分。第一部分(4月3日至11日)将汇集第一次研讨会的参与者和另外8名参与者:

第二部分(4月12-24日)将只由第一次工作坊的4名参加者组成。

第二届研讨会的参与者将继续研究反思性推理的基础,例如Gödelian反射的障碍,以及反思性agent的决策算法(例如。负2).

另外,MIRI研究研讨会也暂定于亚博体育官网2013年夏秋两季举行。

更新:描述第一次研讨会的第一个结果的论文初稿现在可以获得在这里

欢迎来到Intelligence.org

||新闻

欢迎来到机器智能研究所(MIRI)的新家,它以前被称为“奇点研究所”。亚博体育官网

新设计(来自Katie Hartman,她也为CFAR)反映了我们最近的转移焦点从“运动构建”到技术研究。亚博体育官网我们的研亚博体育官网究和研究顾问在主页,我们的研究助理网络包括在亚博体育官网团队页面。

亚博体育苹果app官方下载 也更清晰,易于找到的页面申请成为志愿者,一个实习生,一个访问学者,或者一个亚博体育官网研究员

我们的关于页面托管我们的透明页面,我们的顶级贡献者名单,我们的关于页面托管我们的透明页面,我们的顶级贡献者名单,我们的新媒体工具,我们的存档2006-2012年奇点峰会的所有演讲视频、音频和文字记录。(峰会是最近举行的收购了奇点大学)。

跟随我们的yabo体育官网 了解最新的新闻和分析。最近的分析包括尤多科夫斯基论逻辑不确定性尤多科夫斯基在《我们现在能做什么?》

我们将在接下来的几个月里添加更多的内容,所以请继续关注!

我们现在是“机器智能研究所”(MIRI)亚博体育官网

||新闻

奇点大学(SU)收购了在12月的奇点峰会上,我们还同意更改我们学院的名称,以避免奇点学院和奇点大学的品牌混淆。经过多次讨论和市场调查,我们选定了新名字。亚博体育官网我们现在是机器智能研究所亚博体育官网(美里)。

自然,我们的工作人员和支持者都对我们最初的名字——“人工智能奇点研究所”(Singularity Institute for Artificial Intelligence,简称“奇点研究所”)产生了积极的联想。因此,任何新名字在一段时间内会感觉很陌生。然而,在过去的几周里,“MIRI”听起来越来越好听了,我们认为你也会越来越喜欢它。

有些人会担心,“但是‘MIRI’并没有详细地表达你所做的事情!”然而,根据我们的市场调查,这是“一个功能,而不是亚博体育官网一个bug”。亚博体育官网研究人员尤其表示,他们可能会觉得在一个名字听起来太狭隘或“偏袒”的组织工作很尴尬。他们还警告我们,一个组织的活动范围可能会随着时间的推移而改变,所以它的名称应该非常笼统。

大学院系和独立研究机构很久以前就吸取了这些教训,因此往往有非常笼统的名称(大学亚博体育官网本身通常以其主要校园所在地命名)。例如:

“MIRI”还有其他不错的特性。它很容易拼写,也很容易发音,它反映了我们把重点转向更多的技术研究。亚博体育官网当然,我们的使命依然不变:“确保比人类更聪明的智能的创造造福社会。”

我们将从Singularity.org但在3月5日前,我们将推出一个新网站,用新名字,新域名:Intelligence.org.(到目前为止,我们还无法收购其他一些合适的域名,包括miri.org。)

当我们将我们的电子邮件帐户转移到新域名时,我们会让您知道。所有现有的通讯订户将继续收到我们的通讯后更名。

再次感谢所有支持我们的人,他们在品牌转型(从SIAI到MIRI)和活动转型(将我们的理性工作移交给亚博体育官网CFAR及首脑会议).我们希望你会像我们一样喜欢我们的新名字!

机器智能研究所亚博体育官网

尤多科夫斯基论逻辑不确定性

||对话

与埃利泽·尤多科夫斯基谈话的转述抄本。

面试官:我想从你那里得到一个关于“友谊赛AI的开放问题”的澄清。本雅·法伦斯坦的逻辑不确定性问题解决与逻辑事实的不确定性有关代理没有足够的计算能力来推断。但是:我听说过一些不同的东西叫做“逻辑不确定性问题”。其中一个是“中微子问题”,如果你是贝叶斯,你不应该100%肯定2 + 2 = 4。因为中微子可能会在错误的时刻扰乱你的神经元,扰乱你的信念。

以利以谢:看到也如何说服我2 + 2 = 3

面试官:没错。即使是在概率系统中亚博体育苹果app官方下载贝叶斯网例如,某些部分的总和必须是1的概率,贝叶斯网的结构中还包含其他逻辑假设,而AI可能希望这些假设具有不确定性。这就是我所说的“中微子问题”。我不知道你们认为这是一个多大的问题,也不知道它和你们通常所说的"逻辑不确定性问题"有多大的关系

以利以谢我认为有两个问题。当您在嘈杂的处理器上运行程序时,会出现一个问题,对于人类程序员来说,使用足够的冗余运行并进行足够的检查将错误概率降至几乎为零似乎是相当简单的。但这大大降低了效率,如果你愿意接受概率结果,你就可以编写这样的程序,当你在推理他们的期望效用时。

还有一个关于Friendly AI的行动准则和自我修正准则的大问题,即我当前的想法仍然是在你将错误概率降至几乎为零后去证明事物的正确性。但这可能不是一个良好的长期的解决方案,因为从长远来看你会想要一些行动的准则,让AI复制自身到not-absolutely-perfect硬件,或硬件冗余级别的,没有被运行,我们试图压低错误概率为2-64年或者说,非常接近于0。

面试官这似乎与你经常谈论的“逻辑不确定性问题”不同。是这样吗?

以利以谢当我说“逻辑不确定性”时,我通常说的是,你相信皮亚诺算术,现在给Gödel的皮亚诺算术的陈述赋一个概率。或者你还没检查,239427是质数的概率是多少?

面试官你认为这两个问题之间有很多联系吗?

以利以谢:还没有。第二个问题是相当基本的:我们如何近似我们在逻辑上不是无所不知的逻辑事实?特别是当你对你运行的复杂算法有不确定的逻辑信念时你在计算相对于这些复杂算法的自我修正的期望效用。

你所说的中微子问题会出现,即使我们处理的是物理不确定性。它来自于计算机芯片的错误。它甚至出现在逻辑无所不知的情况下,当你在物理计算机芯片中构建自己的副本时,它可能会出错。所以,第二个问题似乎没有那么不可言说。它们最终可能是同一个问题,但在我看来,这并不明显。

尤多科夫斯基谈“我们现在能做什么?”

||对话

与埃利泽·尤多科夫斯基谈话的转述抄本。

面试官假设你正在和一个聪明的数学家交谈,他看起来像是那种有能力在一个友好的人工智能团队中工作的人。但他表示:“我理解人工智能风险的普遍问题,但我只是不相信你能提前这么远就知道什么特别有用。你现在提到的任何问题都不太可能是30或80年后人工智能发展起来的问题。我们现在做的任何技术研究都依亚博体育官网赖于对世界的一套高度一致的信念,我们不应该对我们能看到那么遥远的未来有那么大的信心。”你对数学家的回答是什么?

以利以谢我会先让他们读一份我们正在处理的特定技术问题的描述,例如“Löb问题”。我正在写一份描述。所以我会向数学家展示这个描述并说:“不,试图让一个人工智能编写一个类似的人工智能似乎是一个相当基本的问题,而Löb问题阻碍了它。”事实是,即使拥有无限的计算能力,我们也无法弄清楚如何做这些事情,这令人担忧。”

一个更抽象的论点可能是这样的:“你确定同样的思维方式不会阻止你解决任何重要的问题吗?”你确定你不会回到过去,告诉阿兰·图灵不要发明图灵机,因为谁知道计算机是否真的会像那样工作?他们不是那样工作的。真正的计算机并不像形式主义那样工作,但图灵的工作还是很有用的。”

面试官:你和我都认识一些人,他们对人工智能风险非常了解,但他们对当前应对人工智能的最佳方案的不确定性比你更大。也许还有很多其他有希望的干预措施,比如追求认知增强,或者做fi风格的研究,寻找我们还没有发现的关键考虑因素——比如德雷克斯勒发现分子纳米技术,或者舒尔曼发现迭代胚胎选择来实现激进的智力放大。亚博体育官网或者,也许我们应该把安全模因放在AGI社区中,因为再一次地说,确切地说哪些问题会产生影响还为时过早,特别是当你有一个更长的人工智能时间范围时。你对这种推理有什么反应?

以利以谢:在一个小时的元推理后,而不是一年的元推理后,做你当前优先做的事情。如果一年后你还在说,“不,不,我们必须考虑更多的meta”,那么我不相信你是那种会采取行动的人。

例如,保罗global不会犯这个错误,因为Paul正在处理实际的FAI问题寻找其他有希望的干预措施。我对此没有太多异议。如果他提出了一些他认为更重要的干预措施,我会询问具体的案例。

尼克·博斯特罗姆也不会犯这个错误。他做了很多元策略方面的工作,但他也做了人为概率和规范不确定性的议会模型以及其他对象层面的工作,他邀请了像安德斯·桑德伯格这样的人,他们写了关于上传时间线的论文,这些时间线实际上与我们的政策决定有关。

当人们不断地说“也许我们应该做其他事情”时,我会说:“先做一个临时决定,然后开始执行临时决定,必要时再重新考虑这个决定。”但如果你是那种总是想要超能力的人而且只是因为可能有更好的东西才想到超能力的人,你就永远不会真正去做做某事关于这个问题。