班卓·阿格尼斯作为领域

卢克·穆罕沃斯：本，你一直在大量参与相对新的学术领域的形成和成长 - 领域人工综合情报（AGI）。自从Miri现在正在努力共同创造一个新的学术领域 - 领域亚博体育官网 - 我们很乐意知道你在共同创造AGI研究领域时学到了什么。亚博体育官网

你能先给我们讲讲早期的故事吗?当然,人工智能研究者一直在谈亚博体育官网论人类AI的,偶尔有会议和文章和书籍的主题,但该领域似乎变得更有凝聚力,活跃在你和其他几个人推东西的名字“人工总体智能”。

本Goertzel写到：我对童年开始的“主题最终被命名为Agi”，并开始在16岁的地区进行研究（这是我的大学新生年底，因为我在15岁时开始大学）。亚博体育官网然而，我很快就会对我来说，“真正的AI”（在推出术语AGI之前私下使用的术语）与学术或行业AI领域的典型关注有关。这是让我在数学而不是ai中做博士学位的一部分。在20世纪80年代，而不是对计算机科学部门流行的狭隘AI的博士学位而不是博士学位。我宁愿通过我自己的方法，广泛地花毕业生学习数学和阅读，并准备在“真正的AI”上......

我并没有真正考虑尝试在2002年左右建立一个社区或广泛的兴趣，直到2002年左右，因为直到这一点似乎只是绝望。大约2002年左右，它开始似乎是我 - 出于各种难以陷入困境的原因 - 世界上有助于态度转变。所以我开始思考如何将关于“真实AI”的方式传播和其重要性和可行性更广泛地传播。

坦率地说，主要目标是创造一个环境，因为我可以更容易地吸引许多钱或志愿者研究合作者为自己的真实AI项目。亚博体育官网但我也有兴趣更广泛地培养真正的AI工作，超越我自己的方法。

我在这个方向上的第一个创举是编辑一本由研究人员编写的章节组成的书，这些研究人员正在进行雄心勃勃的人工智能项目，目标是一般智能、人类水平的智能等。亚博体育官网这需要一些挖掘，以找到足够的人来贡献章节——即那些既在做相关研究，又愿意为这样一本书贡献章节的人。亚博体育官网这还要求我为这本书找一个标题，这就是“AGI”一词的由来。我最初的暂定标题是“真正的AI”，但我知道这太前卫了——毕竟，狭义AI本身也是真正的AI。所以我给一群朋友发了电子邮件，询问书名的建议，沙恩·莱格提出了《人工智能》。我觉得“AGI”缺少“人工生命”等其他术语所具有的某种活力，但这是我得到的最好的建议，所以我决定试试它。人们对这个词的反应普遍是积极的。(后来，我发现一个叫马克·古布鲁的家伙以前用过这个词，顺便在一篇广泛讨论未来技术的文章中提到过。在华盛顿的AGI-09会议上，我终于见到了Mark Gubrud。)

当我开始使用Bruce Klein时，我并没有真正在社区建设中进行大量推动。布鲁斯是一个艰苦的未来学家，其主要焦点生活是人类不朽。当他在马里兰来拜访我时，我遇见了他，以拍摄纪录片。我们之后谈了一下，我相信他认为一种非常好的方法，不朽的方式是建立一个可以解决与生命延伸相关的生物学问题的AGI系统。亚博体育苹果app官方下载我问布鲁斯帮助我筹集AGI R＆D的钱。在敲击他的主题之后，在从投资者招募$$的问题上，他决定首先提高AGI追求的概况将是有用的 - 这将创造一个对我们自己的AGI筹集的背景研发会更容易。

因此，Bruce和我萌生了组织AGI会议的想法。2006年，我们在贝塞斯达组织了第一个AGI工作坊。布鲁斯负责后勤工作;我从自己的社交网络中招募了研究人亚博体育官网员，当时我的社交网络规模很小。如果没有Bruce的推动，我不会想到要举办会议并建立一个社区——这更像是Bruce的方式，而不是Ben的方式。我注意到，几年后，Bruce在奇点大学的发展中发挥了关键作用。戴曼迪斯和库兹韦尔当然是促成这一切的大人物;但如果没有Bruce的组织工作(以及他当时的妻子Susan Fonseca)，在第一次SU愿景会议之前的6个月时间里，SU不可能聚在一起。

AGI研讨会进展顺利 - 这是我完全意识到那里有很多AI研究人员，他偷偷地藏着AGI利益和野心，甚至是研究项目，而是由于声誉风险而不是公开讨论。亚博体育官网

从初始AGI研讨会加强的关系，AGI会议系列出生 - 第一个全面的AGI会议于2008年，在孟菲斯大学，他们一直在一年一度的年度。会议均在AGI研究人员中播种了大量的合作和友谊，否则将继续以孤立的方式运作，并且通过赋予AGI追求的更多合法性对此进行间接影响。亚博体育官网他们汇集了对AGI感兴趣的行业和学术和政府研究人员，以及许多不同国家的研究人员。亚博体育官网

利用会议带来的越来越多的合法性，我做了其他各种各样的社区建设工作，比如在人工智能领域的主流期刊《AI Magazine》上发表一篇关于AGI的合著论文。该论文的共同作者包括来自IBM等大公司的人士，以及一些享有盛誉的“优秀的老式人工智能”人士。最近也出现了一些其他类似于agi的会议，例如BICA和Cognitive Systems。亚博体育苹果app官方下载我帮助BICA会议开始，尽管我并没有扮演主要角色。我认为AGI会议帮助创造了一种环境，在这种环境中，其他相关的小型会议的出现似乎是自然和可接受的。

当然，没有办法评估我的这些社区建设工作有多大的影响，因为我们不知道如果没有我的努力，人工智能领域会如何发展。但根据我的理性估计，我的这类倡议似乎产生了严重的影响。

我将从这种经验中吸取的一些一般课程是：

1. 你需要在正确的时间做正确的事。有了AGI，我们开始了我们的“运动”，当很多研究者亚博体育官网通缉要做并谈谈AGI，但却羞于承认他们的同龄人。因此，在某种意义上，AGI兴趣有一个令人兴奋的兴趣“等待”。
2. 在后面之明时，它只是正确的时间。实时，向前迈进，开始一个社区需要采取许多创业风险，并宽容多次被称为愚蠢，包括你尊重的人。风险将包括各个方面，例如花费大量的时间，仔细建立声誉，冒险，并且甚至对于会议等东西，场地和餐饮的押金必须来自某个地方......为此第一个AGI研讨会，我们希望最大限度地通过合适的人员出席，所以我们使我们成为自由，这意味着布鲁斯和我 - 大多数布鲁斯，因为他在那时获得了更多的资金 - 从我们的个人资金有限的资金上涵盖了费用。）
3. 社交网络和社区建设比我的数学/科学/哲学极客，直观地意识到了比我更有用的时间。当然，人们更善于交际而不是如此令人讨厌地通过自然实现了这些追求的效用。我必须通过经验学习，并通过Bruce Klein的专家指导。

卢克：早期的AGI领域是否与早期讨论“人级AI”（HLAI）有多连续？例如。有文章尼尔森那麦卡锡那Solomonoff.那领主尽管我不确定是否有任何关于这个主题的会议或重要的编辑书籍。

本：重要的是，在试图将AGI转发为现场和社区时，我们没有发现我们在这些早期讨论中的任何一个方面的整体努力。

此外，AGI会议的一个关键方面是它们在采取何种方法方面的绝对中立。例如，这将AGI会议与BICA或认知系统会议区分开来。亚博体育苹果app官方下载尽管我对什么方法最有可能成功有自己的看法，但我希望会议在智力上是自由的，对所有的方法都平等开放，目标是先进的AGI……

然而，与早期阶段的AGI运动相关的具亚博体育官网体研究人员当然受到您提到的这些较老的讨论的影响。例如。Marcus Hutter在最初的AGI书中有一篇论文，并且在会议上是一支大的力量，并强烈地是Solomonoff-Inspired。Paul Rosenbloom是在会议上的主要存在;他来自一个翱翔的背景，并与传统的美国AI领域的好老创始人合作...... Selmer Bringsjord的基于逻辑的Agi方法肯定是Harks回到麦卡锡。等等。

因此，为了更一般化一点，我想说，这些以前的讨论倾向于将AGI问题与一些特定的AGI方法绑定在一起，而我的偏好是更清晰地将目标从方法中分离出来，并创建一个与该方法相关的社区中立……

卢克： 这人工综合情报杂志在它的大部分历史中似乎都很安静，但是会议系列似乎已经成功了。您能否谈谈这两个项目的挑战和明显影响，以及它们如何相互比较？

本老实说，我和JAGI的联系相对较少，每月都是如此。宽泛地说——会议就像我的宝贝;这本杂志是我的朋友兼同事王培博士创办的。我是该杂志的编委会成员，但到目前为止，我的参与仅限于帮助高层战略决策(比如不久前将该杂志移至Versita平台，这是裴建议而我支持的)。

由于我的时间有限，除了我自己的研发工作，我个人决定把我的注意力集中在会议上，而不是日志。这是因为我觉得会议在非正式联系和社区建设方面有很大的力量，而不仅仅是提供一个发表论文和获得会议论文集出版物的正式场合。

我可以说，裴在早期就明确决定，在期刊上发表论文时，要注重质量而不是数量。我认为他成功地得到了高质量的论文。

我认为JAGI是一个重要的创刊号，在未来具有真正的发展潜力，成为一份重要的期刊。我们需要迈出的一大步是让它被SCI收录，这很重要，因为许多学者只有在SCI收录的期刊上发表论文才能得到“大学的印象分”。

卢克：你能说更多关于让你从地面上获得AGI会议并越来越多的特殊努力吗？基本上，你会给别人与另一个新技术学科一起做同样的事情的别人吗？

本:在早期阶段,我努力伸出一对一的研究人员,我觉得会同情播洒的主题,并明确要求他们提交论文和来参加会议,这包括一些研究者个人谁我不知道,亚博体育官网但知道只有通过他们的工作。

最近，会议主题演讲是有用的，作为将新人带入AGI社区的工具。有关可能不会认为自己的相关工作的人们本身也不会向会议提交文件，可能仍然可以接受邀请给主题演讲。亚博体育官网在某些情况下，这可能以持久的方式让他们对AGI领域和社区感兴趣。

我们还努力不让AGI太过局限于计算机科学领域——通过举办神经科学、机器人技术、未来学等方面的特别会议，并明确邀请这些领域的人士参加会议，否则他们不会想参加。

我们所做的其他事情是致力于维护自己的邮件列表AGI感兴趣的人，包括各种方法，包括
在会议网站上寻找发表过与AGI相关论文的人。我们已经与AAAI建立并保持了关系，这使我们能够在他们的杂志上做广告，并向他们的会员发送明信片，从而使我们能够获得更广泛的影响。

无论如何，这只是我认为的基本组织力学 - 并不是特定于AGI。这种东西对我来说是相当自然的，由于观看了我的妈妈组织了几十年（她是社会工作领域的领导者，并在本月退休）。但我不认为这是一个非常特殊的东西 - 只有内容物质（AGI）很特别！

如果我以某种方式在这个社区建设过程中打上自己的烙印，那很可能是通过这种特别包容的方式进行的。我的态度是，由于AGI是一个早期阶段的领域(尽管加速发展意味着该领域可能会从早期发展到高级阶段相当迅速)，我们应该以一种社区范围头脑风暴的精神，对几乎任何明智的观点持开放态度。当然，我们每个人都必须决定接受哪些想法，并认真对待我们自己的工作，每个研究人员可以与那些分享更多他们自己的方法的人进行更深入的讨论亚博体育官网但是，像我们通过AGI会议培育的这样一个广泛的社区的一个重要角色是，让人们接触到不同于他们在日常工作中遇到的想法和观点，但仍然具有概念上(有时甚至是实际)的相关性……

卢克:对于那些试图创建“友好人工智能研究”领域的人，您有什么特别的建议?亚博体育官网例如，这个术语本身就是次优的，尽管我更强烈地反对一些最明显的替代词，如“安全AI”或“好AI”。

本：嗯，我同意你的看法，“友好的ai”一词不太可能在学术界或行业的研究人员中捕获，或者媒体。亚博体育官网所以这是你在形成FAI社区时面临的一个问题。我没有考虑一下伟大的替代术语，但我会考虑一下。在这种背景下，我经常倾向于“有益”这个词，但我意识到这不是短暂或兴趣的声音。

与AGI领域采取比喻，一个问题是我拥有的一个问题是，是否有一个已经在友好的AI工作的研究人员，但没有通过该标签致电他们的工作或广泛讨论它;亚博体育官网或者研亚博体育官网究人员或学生，渴望在友好的AI上工作，但由于社会耻辱而遭受抑制作用，因此避免了这一话题。如果是这样，10年前的AGI领域存在类似的情况。如果没有，那就没有完全的比喻。如果没有这样的“地下原型社区”已经存在，指导了地面的形成是一个艰难的问题，我会思考。

当然，FAI研究中的某种戏剧性成功将吸引人们对该领域的人。亚博体育官网但这是一个鸡蛋和蛋问题，因为如果领域有更多的人，那么戏剧性的成功更有可能。在AGI中，尚未成为戏剧性的成功，但无论如何，我们一直稳定地建立了一名研究人员社区。亚博体育官网（任何速度都有多样化，谦虚的成功......！）

我担心超出明显的东西，我没有任何良好的建议。例如，如果您可以获得一些着名的研究人员将他们的重新抛弃背后的想法，即FAI Res亚博体育官网earch现在是追求的重要措施，这将是一个很大的帮助......或者说服有人制作一些人的好莱坞电影an Evil AI, which is then thwarted by a Friendly AI whose design is expertly guided by a team of FAI theorists furtively writing equations on napkins ;D … Or get someone to write a book analogous to The Singularity is Near but FAI focused — i.e. with a theme “The Singularity is Quite Possibly Near — and Whether It’s a Positive or Negative Event for Humanity LIkely Depends on How Well We Know What We’re Doing As It Approaches … and Understanding FAI Better is One Important Aspect of Knowing What We’re Doing…” … I’m fairly sure Eliezer Yudkowsky could write a great book on this theme if he wanted to, for example.

我认为，如果要让FAI成为一个严肃的领域，一个关键是要在FAI研究人员和其他相关领域的工作人员之间谨慎而彻底地建立联系，比如AGI、神经科学、认知心理学、计算机安全等。亚博体育官网如果FAI被视为学术哲学家和抽象数学家的主要领域，它不会流行起来——因为毕竟，学术哲学家最后一次避免了一场大灾难，或者创造了一些巨大的实际利益是什么时候?这将是更彻底地将固定资产投资与真实的东西- 实际上在世界上做事并发现新发明或实际事实的人，而不是仅仅是写哲学论文或证明关于不可行的理论AI系统的定理。亚博体育苹果app官方下载沿着这些线条，带来FHI和Miri人们的研讨会与真正的FAI社区建立不太多，我想。

Analogizing to my experience with AGI community-building, I’d say that organizing a FAI-oriented conference (with a name not involving “Friendly AI”) bringing together people from diverse disciplines, with a broad variety of perspectives, to discuss related issues freely and without any implicit assumption built into the event that the MIRI/FHI perspective is the most likely path to a solution, would be a reasonable start.

一个小评论是，自从Miri在未来主义社区中与友好的友好AI非常狭隘的角度密切相关，如果有努力建立一个集中于FAI的更广泛的研究社区，因此可能更好亚博体育官网如果Miri与一些其他组织或具有声誉的组织一起做出了更大的包容性。

更广泛的评论是：我想知道Miri是否陷入了太狭隘的问题。在您的Kurzweilai对詹姆斯巴拉特最近的书籍的评论中，您将友好的AI研究定义为问题“弄清楚如何确保第一个自我改善的智能机器将是人类友好的并且会保持这种方式亚博体育官网。”

但这一公式中包含了大量的假设。它表现出对某些研究方向的强烈偏向，这些方向可能是最好的，也可能不是最好的。亚博体育官网例如，全球大脑研究所(Global Brain Institute)的弗朗西斯•海莱恩(Francis Heylighen)、戴维•温鲍姆(David Weinbaum)和他们的同事对于人工智能和人类灭绝风险有一些有趣(而且可能很有价值)的看法，但他们不愿意把自己的想法硬塞进上述公式中。

因此，我认为您应该以更广泛的方式为FAI研究基础制定核心关注的好方法，这将吸引研究人员具有更多各种智力背景和兴趣和理论取向。亚博体育官网根据我的理解，你关心的真正问题是：增加赔率，因为AI超越人类水平和
盟军技术也在推进，世界继续成为一个合理可接受的地方（甚至可能是令人敬畏！）根据人类价值观。这可能听起来像“弄清楚如何确保第一个自我改善的智能机器将是人类友好的并且会保持这种状态。”但它对每个人都不会听起来一样......

IMO一个新兴的FAI社区，有效，将不得不为各种不同的概念方法开放“增加赔率，因为AI超越人类水平和盟国技术的提升，世界仍然是一个地方根据人类价值观，这是合理的（也许甚至是令人敬畏！）。“- 包括与自我改善机器直接做任何无关的方法。具有讽刺意味的是，我怀疑这将导致创造性思维的涌入研究人员的小组义务，专门关注“弄清楚如何确保第一个自我改善智能机器是人为友好的并且会保持这种方式。”亚博体育官网

卢克：谢谢，本！