机器智能研究所活动亚博体育官网
Bugmaster问道:
SIAI实际上做什么?你不提交你的工作领域严格审查你的同行…你要么不做任何美国国际集团的研究,或者是保持它的秘密,没有人知道它,你没有任何实际应用的人工智能发展,要么……所以,你实际上做什么,除了种植SIAI本身?亚博体育官网
这是个好问题，也是我现在最关心的问题。捐助者想知道:投资的有形回报在哪里?当我向机器智能研究所(Machine Intelligence Research Institute)捐款时，我怎么能看到自己在yabo体育官网下载ios购买存在风险降低?亚博体育官网
SI有一个问题，因为它最近做了很多无形的工作。我们的研亚博体育官网究人员已经做了大量的工作，但这些工作还没有被撰写和发表;以利以谢一直在写他尚未出版的关于理性的书;安娜和埃利泽一直在为未来的“理性组织”(rationality Org)开发新的理性课程，该组织将从机器智能研究所(Machine Intelligence Research Institute)分拆出来;亚博体育官网卡尔在最理想的慈善团体中做了很多无形的工作;等等。我相信这都是有价值的降低风险的工作，但当然不是所有的支持者都愿意相信我们在做有价值的工作。我们的支持者希望看到切实的结果，他们所看到的只是奇点峰会，每年几篇论文，一些网页和Less Wrong帖子，以及一些理性训练营。这很好，但还不够好!
我同意这种担忧，这就是为什么我专注于做那些碰巧既能降低x风险又能看到的事情。
首先，我们一直在致力于可视化的“元”工作，使机器智能研究所总体上更加透明和有效:一个战略计划、一个捐赠数据库(以感谢的形式对捐赠者“可见”)、一个新网站(即将发布)和一份亚博体育官网年度报告(即将发布)。
其次，我们今年正在推动发表更多的研究结果。亚博体育官网我们即将出版三章奇点假说，其中一章即将在剑桥人工智能手册，一篇即将发表的关于人工智能难度的文章，以及我们计划在2012年发表的其他几篇文章和工作论文。我也开始写第一篇综合文章奇点研究中开放问题的概述亚博体育官网，以便世界各地感兴趣的研究人员能够参与解决亚博体育官网世界上最重要的问题。
第三，显而易见的合理性工作即将展开。埃利泽的一本书现在正被卖给代理商和出版商，我们正在实地测试不同版本的理性课程材料，以便在Less Wrong聚会和课堂上使用。
第四，我们正在拓展奇点峰会品牌，这是一个传播x风险降低和人工智能安全迷因的重要平台。
所以我对这个问题的回答是:“是的，由于我们对项目的选择，可见的投资回报最近一直是一个问题。甚至在我被任命为执行主任之前，我最关心的事情之一就是帮助纠正这种情况，今天仍然如此。”
如果什么?
XiXiDu问道:
如果很明显AGI最多还有10年的时间，SI会怎么做?
这将是一个严重的问题，因为默认情况下，AGI将具有极大的破坏性，而我们还不知道如何使AGI不具有破坏性。
如果我们认为AGI最多还有10年的时间，我们会怎么做?
这取决于更广泛的公众是否清楚地知道AGI最多还有10年的时间，还是仅仅基于非公开分析得出的结论。
如果对各种各样的人来说，AGI很接近，那么应该更容易得到人们和对Friendly AI工作的支持，因此大力加强努力将是一个很好的举措。如果对AGI未来10年的分析导致了数百个人手充足、资金充足的AGI研究项目和丰富的公共文献，那么试图用一个友好的AI项目超越其他人就会变得更加困难。亚博体育官网在强化Friendly AI的努力后，我们可以尝试建立Friendly AI的理论和实践知识，这些知识可以应用于并非基于Friendly设计的系统。亚博体育苹果app官方下载然后，这些知识可以被广泛传播，以增加项目成功的几率，并邀请真正的友好专家等等。但总的来说，如果人们普遍认为AGI离现在只有10年的时间，情况会比我们现在所处的情况更加糟糕。
但是，如果认为人工智能还需要10年的基础是不公开的(但对于拥有大量资源的支持者来说，这是有说服力的)，那么它可以被用来以不同的方式吸引对一个友好人工智能项目的支持，希望不会激怒数十个AGI团队加强他们的努力。如果我们有一个有说服力的案例,播洒只有十年时间,我们可能不宣传而是会让这种情况立即个人的支持者,我们需要加强我们的努力友好的人工智能理论在某种程度上,只有更大的资金可以允许。
预算
MileyCyrus问道:
解决友好AI问题需要多少预算?
大型研究项目亚博体育官网总是伴随着巨大的不确定性，即它们的难度会有多大，尤其是那些需要在数学和哲学方面取得根本性突破的项目，比如Friendly AI。
即使是一个由顶级友好AI研究人员组成的10人小团队，拿着学术水平的薪水工作10年，也需要数千万美元。亚博体育官网即使你能筹集到这样的资金，也需要缓慢地“增加”研究人员的招聘和产出。亚博体育官网我们需要足够的资金来吸引那些也被对冲基金、谷歌和美国国家安全局(NSA)招募的数学家，并为他们每个人设立一个有资金支持的“主席”，以便他们可以准备好把自己的职业生涯奉献给这个问题。仅这一部分就需要几千万美元的资金投入到少数研究人员身上。亚博体育官网
峰会、Less Wrong、外联工作和早期出版物等其他努力都是需要花钱的，它们致力于建立所需的社区和基础设施，开始资助顶级数学家担任职位，使他们成为职业友好型人工智能研究人员。亚博体育官网这种工作每年的成本在50万到300万美元之间，当然，每年更多的钱会产生更多的进展。
预测
Wix问道:
机器智能研究所的成员们对奇点何时发生的预测有多少不同?亚博体育官网
我请机器智能研究所(Machine Intelligence Res亚博体育官网earch Institute)的一些工作人员回答了一个略有不同的问题，其中一个问题摘自人类未来研究所(Future of Humanity Institute) 2011年的机器智能调查:
假设没有全球性的灾难阻碍我们的发展，你认为哪一年有10% / 50% / 90%的机会发展人类水平的机器智能?如果你认为永远也达不到这样的里程碑，你可以随意回答“永远”。
简而言之，调查参与者对10% / 50% / 90%的估计中值(除5个异常值外)为:
2028 / 2050 / 2150
以下是机器智能研究所(Machine Intelligence Research I亚博体育官网nstitute)工作人员的5个回答，这些年来，他们认为在没有全球性灾难阻碍科学进步的情况下，创造人类进化lai的可能性为10% / 50% / 90%:
2025 / 2073 / 2168
2030 / 2060 / 2200
2027 / 2055 / 2160
2025 / 2045 / 2100
2040 / 2080 / 2200
这是我在这一轮中准备的所有答案;我希望他们是有帮助的!
