需要缩放miri的方法

Andrew Chritch是Miri的研究团队的新增含量之一，已经抓住了Miri的机会亚博体育官网冬季筹款人写在他的个人博客关于为什么他考虑Miri的工作很重要。一些摘录：

自从一支球队CFAR.校友在一起形成了生命研究所的未来（FLI），组织了一个AI安全会议在今年1月的波多黎各，共同撰写了FLI研亚博体育官网究优先事项提案，并吸引了伊隆麝香的10毫米的授予资金，在过去一年的标签“AI安全”标签下搬迁了很多钱。尼克博斯特罗姆的超明这也是这个惊人的成功故事中的一个主要因素。

在这些拨款下正在做很多精彩的工作，包括对AI安全的已知问题的解决方案提出了许多建议，我发现非常令人振奋。但是，我担心，如果Miri至少略微扩展到所有这些资金的步伐，那么如果Miri在那里有帮助时，它就不会花费差不多。

我们必须记住这一点通过自发的集体觉醒，AI安全性并未成为主流。这是Miri和合作者的多年努力fhi.在努力确定未知的未知问题如何让我们感到惊讶，并努力学习以足够的技术细节解释这些想法，以至于它们可能被主流研究所采用，最终开始发生。亚博体育官网

但是关于我们错误的部分呢？关于我们尚未确定的子问题呢，这可能最终在主流中忽略了忽视的情况下，在5年前忽略了整个问题的方式？我很高兴AI / ML社区现在更加了解这些问题，但我想确保Miri可以快速发展，以保持这种成长的领域。

现在，您可能会认为现在别人“在问题上”，它将自己锻炼。这可能是这样的。

但只是因为一些miri的结论现在被广泛采用并不意味着它方法是。心理运动

“有人向我指出了这个安全问题，让我试着解决它！”

与之截然不同

“有人向我指出了这项安全解决方案，让我试着看看它是破坏的！”

第二种心理运动是允许Miri注意到首先注意到AI安全问题的那种。网络安全专业人员似乎轻松开展这一运动：安全专家布鲁斯·施奈尔呼叫它安全心态。SANS学院称之为红色合作。无论您称之为什么，AI / ML人的制造模式仍然比破坏模式更高，尚未到我的眼睛，识别任何新的安全问题。

我认为不同的组织可能应该尝试对AI安全问题的不同方法，而不是完美复制miri方法和亚博体育官网研究议程。但我认为破碎机模式/安全性心态确实需要成为AI安全的各种方法的一部分。And if MIRI doesn’t scale up to keep pace with all this new funding, I’m worried that the world is just about to copy-paste MIRI’s best-2014-impression of what’s important in AI safety, and leave behind the self-critical methodology that生成这些想法在第一名......这是一个严重的缺陷给出了领域剩下的所有未知未知。

看我们资金驱动器帖子帮助贡献或了解更多关于我们计划的更多信息。有关AI风险和安全性心态的更多信息，请参阅Luke Muehlhauser邮寄主题。