2013年评论:战略和说明性研究亚博体育官网

||MIRI Strategy

This is the 3rd part of my personal and qualitativeself-review of MIRI in 2013,在其中我开始回顾美里2013年的研究活动。亚博体育官网通过“研亚博体育官网究活动”,我的意思是包括主要针对研究人员的外展工作,还包括three typesMir亚博体育官网i进行的研究:

  • 说明性研究亚博体育官网aims to consolidate and clarify already-completed strategic research or Friendly AI research that hasn’t yet been explained with sufficient clarity or succinctness, e.g. “Intelligence Explosion: Evidence and Import“ 和 ”Robust Cooperation: A Case Study in Friendly AI Research。”(I consider this a form of “research” because it often requires significant research work to explain ideas clearly, cite relevant sources, etc.)
  • 战略研究亚博体育官网旨在阐明未来可能会如何发展,以及我们现在可以做些什么来推动未来朝着良好的结果推动,并且涉及比说明性研究更多的新颖思想和建模 - 但是,这种区别是模糊的。亚博体育官网参见例如“情报爆炸微观经济学“ 和 ”How We’re Predicting AI — or Failing to。”1
  • 友好的AI研究亚博体育官网aims to solve the technical sub-problems that seem most relevant to the challenge of designing a stably self-improving artificial intelligence with humane values. This通常涉及sharpening philosophical problems into math problems, and then developing the math problems into engineering problems. See e.g. “Tiling Agents for Self-Modifying AI“ 和 ”囚犯困境中的强大合作。”

I’ll review MIRI’s strategic and expository research in this post;我对Miri 2013年友好AI研究的评论将在以后的帖子中出现亚博体育官网。在本文的其余部分中,我通常不会尝试区分哪些著作是“说明性”与“战略”研究,因为其中大多数部分都是两种。亚博体育官网

阅读更多 ”


  1. 请注意,我所说的“ Miri的战略研究”或“超级智能战略研究”是一个以超智慧为中亚博体育官网心的子集给予会称呼“战略原因选择研究亚博体育官网“ 和CEAwould call this “cause prioritization research。”

Miri在Google Adwords上的经验

||MIRI Strategy

AdWords

2011年底,Miri开了一个Google Grants帐户,为非营利组织提供免费的Google AdWords $ 10K/mo。凯文·菲舍尔(Kevin Fischer)和我在几个月内调整了我们的AdWords帐户,直到我们连续花费了整整10,000美元/月3个月。

这使我们获得了Grants Pro的资格,并且我们仍然祖父(现在不可用)$ 40K/MO的免费AdWords。限额实际上是每天1350美元,即使最近增加了2美元/点击的最高竞标水平,也要明智地花费。但是随着更多的调整,我们现在每个月都可以花几乎所有。在过去的几年中,凯文和我之间可能在我们之间花费了100个小时来对此进行优化,但是在我们俩都为美里志愿服务时,大部分时间都是这样做的。正在进行的调整每月只需要一个小时或更短的时间。

The traffic is large (2/3 of our total) but marginal in quality. In the past 6 months, we drove ~250,000 visitors to MIRI’s site via Google Adwords.

  • 5000 people read at least one of our research papers
  • 500 signed up for the newsletter (our true goal since it gives them a chance to hear from us again)
  • 150 went to thevolunteer site(and almost all didn’t sign up once they got there)
  • 100 applied to attend research workshops (no qualified candidates yet)

Our impression is that MIRI has an especially hard time making good use of Google Adwords, because there is such a gulf of inferential distance between what we do and what people already know. Many我们可以向一个从未听说过我们的人展示的事情to try to have a strong impact would plausibly be比有帮助的更误导。We expect most charities could make higher-value use of Google Adwords than we can for this reason, including e.g. effective altruism meta-charities or animal welfare groups.

为每个新闻通讯订户支付16美元的费用非常糟糕,而且如果这是不受限制的钱,我们将如何花费1350美元。但是,AdWords在保证金上创造了一些价值,我们很高兴Google将我们包括在该计划中,并且我们能够通过使用它来吸引新的人有关我们的工作。每年有1000个人获取我们的新闻通讯,以及我们的内容更多的眼球。他们中的一些人可能会将其传递给其他对研讨会或其他事物有益的人。

还警告其他非营利组织:我们三ed many times to get interns or volunteers to improve our Adwords account, but nobody was good at it. Lots of remote supporters (some of whom swore they were amazing at AdWords) were given access and didn’t make a single change to a single campaign, much less create new experiments and find improvements. We also briefly tried paying a contractor to make new ads and they at least tried things, but their ads didn’t generate value so we had to let them go.

If charities work with volunteers or supporters to improve their Adwords accounts, I’d recommend requiring that volunteers produce proof that they are currently managing at least one other large Adwords account successfully (or only ask volunteers for cheap things like ideas and don’t expect any help from them doing the much more costly and difficult work of actually implementing their ideas).

罗纳德·德·沃尔夫(Ronald de Wolf)量子计算

||对话

罗纳德·德·沃尔夫肖像Ronald de Wolf是CWI的高级研究员,也亚博体育官网是阿姆斯特丹大学的兼职教授。他在2001年获得了有关量子计算和通信复杂性的论文,该博士学位。哈里·布尔曼Paul Vitanyi。随后,他是加州大学伯克利分校的博士后。他的科学利益包括量子计算,复杂性理论和学习理论。

He also holds a Master’s degree in philosophy (where his thesis was about Kolmogorov complexity and Occam’s razor), and enjoys classical music and literature.

Luke Muehlhauser: Before we get to quantum computing, let me ask you about philosophy. Among other topics, yourMSc thesisdiscusses the relevance of computational learning theory to philosophical debates about奥卡姆剃刀,这是一个原则,主张“在与事实一致的理论,假设或解释中,我们更喜欢简单而不是更复杂的东西”。

尽管许多哲学家和科学家都遵守了Occam剃须刀的原则,但它通常是模棱两可的,这是“简单”的含义,这也是为什么首先是合理的。但是在您的论文中,您写道:“在某些正式环境中,我们或多或少都可以provethat certain versions of Occam’s Razor work.”

当我争辩时,哲学家通常是持怀疑态度的K-complexityversions of Occam’s razor, as you do. For example, USC’s Kenny Easwaran曾经写过, “I’ve never actually seen how [a K-complexity based simplicity measure] is supposed to solve anything, given that it always depends on a choice of universal machine.”

考虑到您对OCCAM在某些正式环境中的剃须刀的乐观态度的乐观态度,您将如何回答?

阅读更多 ”

Robust Cooperation: A Case Study in Friendly AI Research

||yabo app

机器人握手(裁剪)

纸”在囚犯困境中的强大合作:通过Provability逻辑进行计划平衡”是明确的明确示例之一。fai与研究目标相关。亚博体育官网我们可以从友好的AI研究中的案例研究中学到什么?亚博体育官网结果如何获得?这些想法是如何互相建立的?谁贡献了哪些作品?哪种协同作用很重要?

为了回答这些问题,我与许多为“强大合作”结果做出贡献的人进行了交谈。

阅读更多 ”

AGI-11的两个Miri会谈

||消息,Video

部分感谢志愿者美里志愿者,我们现在可以发布两次演讲的视频,幻灯片和笔录AGI-11。两次谈判都代表了安娜·萨拉蒙(Anna Salamon)和卡尔·舒尔曼(Carl Shulman)的联合作品,他们当时是美里(Miri)的工作人员(回到我被称为“奇异研究所”的时候):

Salamon&Shulman(2011)。整个大脑仿真是创建安全AGI的平台。[[Video] [Slides] [Transcript]

Shulman & Salamon (2011). Risk-averse preferences as an AGI safety technique. [Video] [Slides] [Transcript]

迈克·弗兰克(Mike Frank)进行可逆计算

||对话

Mike Frank portrait迈克尔·弗兰克(Michael P. Frank)1991年,他在斯坦福大学获得了斯坦福大学的符号系统理学学士学位,并于1994年和1999年分别获得了马亚博体育苹果app官方下载萨诸塞州理工学院的电气工程和计算机科学哲学博士学位。在斯坦福大学期间,他在1990 - 91年由计算机机械协会赞助的国际大学计划比赛中帮助他的团队赢得了世界冠军。在他的学生期间,他在IBM的T.J.进行了研究实习。亚博体育官网沃森研究中心,亚博体育官网NASA的AMES研究中心,NEC研究所,斯坦福大学研究所以及斯坦福大学的语言和信息研究中心。大一新生在微软担任软件工程实习生后,他还度过了整个夏天。在1998年至1999年期间,迈克(Mike)停了一年,在朋友的网络创业公司(Stockmaster.com)工作了一年。

毕业后,他从1999年至2004年开始担任佛罗里达大学计算机和信息科学与工程系的终身助理助理教授,并在佛罗里达A&M大学 - 佛罗里达州立大学 - 佛罗里达州立大学 - 佛罗里达州立大学 - 佛罗里达州立大学学院的电气和计算机工程系工作。2004 - 2007年的工程。在2007年至2008年创业的命运不佳之后,他返回学术界,担任佛罗里达州A&M物理学系和FAMU-FSU工程学院的各种短期研究和教学职位。亚博体育官网他目前的头衔是工程学的助理,他大部分时间都在监督多学科高级工程项目。多年来,弗兰克博士的研究兴趣跨越了许多不同领域,包括决策亚博体育官网理论人工智能,DNA计算,可逆和量子计算,基于市场的计算,安全的选举系统和数字现金。亚博体育苹果app官方下载

Luke Muehlhauser: Some long-term computing forecasts include the possibility of nanoscale computing, but efficient computing at that scale appears to require reversible computing due to theLandauer limit。您能否解释什么是可逆的计算,以及为什么它似乎对于超出微型化的一定程度的有效计算似乎是必要的?

阅读更多 ”

Emil Vassev on Formal Verification

||对话

Emil Vassev portraitDr. Emil Vassev获得了他的硕士学位在计算机科学(2005年)和他的博士学位上《计算机科学》(2008年)康科迪亚大学,加拿大蒙特利尔。目前,他是亚博体育官网Lero(爱尔兰软件工程研究中心)亚博体育官网利默里克大学,爱尔兰领导Lero的参与ASCENS FP7project and the Lero’s joint project with ESA on Autonomous Software Systems Development Approaches. His research focuses on knowledge representation and awareness for self-adaptive systems. A part from the main research, Dr. Vassev’s research interests include engineering autonomic systems, distributed computing, formal methods, cyber-physical systems and software engineering. He has published two books and over 100 internationally peer-reviewed papers. As part of his collaboration with NASA, Vassev has been awarded one patent with another one pending.

Luke Muehlhauser: 在 ”NASA的群技术:建筑弹性系统亚博体育苹果app官方下载,” you and your co-authors write that:

To increase the survivability of [remote exploration] missions, NASA [uses] principles and techniques that help such systems become more resilient…

…实践表明,传统的开发方法无法保证软件可靠性并防止软件故障。此外,使用正式方法开发的软件往往更可靠。

与AI科学家交谈时,我注意到系统安全似乎至少有两个“文化”。亚博体育苹果app官方下载一种文化强调了(例如)正式方法的系统的局限性,并建议开发人员使用传统的AI软件开发方亚博体育苹果app官方下载法来构建功能系统,并试图使其在流程结束时安全。其他文化倾向于认为,只有当系统的设计“从头开始”考虑到安全性时,就可以使用强大的安全保证。亚博体育苹果app官方下载我所说的大多数机器学习人员似乎都属于以前的文化,例如凯瑟琳·费舍尔其他从事关键安全系统的人似乎属于后一种文化。亚博体育苹果app官方下载

Do you perceive these two cultures within AI? If so, does the second sentence I quoted from your paper above imply that you generally belong to the second culture?

阅读更多 ”