Holden Karnofsky对透明研究分析亚博体育官网

路加福音Muehlhauser：尤加尔尊重其高质量分析的一些难以量化的现象：特定慈善干预的影响。例如，您对几个博客帖子面对这一挑战的方法，例如（1）规范度量的无用：一个例子, (2)在防御路灯效果（3）为什么我们不能完全取得预期的价值估计（4）如何评估影响，（5）有些考虑因素对更高的成本效益估算，（6）通过关键查询最大限度地提高成本效益（7）我们改变研究方法背后的一些历史亚博体育官网，（8）我们评估研究的原则亚博体育官网，（9）调查主题研究亚博体育官网，（10）我们如何评估一项研究, (11)被动与Rational Vs.量化．

在我的第一个问题中，我想问一下你所做的一个特定事物，以解决一个特殊问题，以解决难以量化的现象。我想到的问题是读者通常很难知道他们应该相信对难以量化现象的给定分析．在数学研究中，对于其他数学家来亚博体育官网说，讲述什么是好的，而且没有什么是直接的。但是如何分析直觉，专家意见，多种冲突的科学研究，一般研究在各种“软”科学中，等等？亚博体育官网在这种情况下，读者可能难以区分高质量和低质量的分析，并且对于读者来说，读者可以判断分析是否特别偏向。

赐给来的一件事是为了解决这个问题，是为了争取其分析中异常高度的透明度。例如，您的分析通常包括：

• 良好的摘要和粗体，使分析更加易用
• 外部评估
• 公开对话与资深专家
• 详细讨论您的想法和为什么
• 许多引文，直接引用研究和脚注
• 所引用的网站和论文的存档副本

你同意这种对你所做事情的解释吗?你还做了什么其他的事情，让读者更容易地告诉他们应该如何更新他们的观点来回应你的分析?

Holden Karnofsky.：是的，这是我们想要做的事情的良好表征。

I’d say that our transparency efforts fall into two categories: “support” (making sure that all the relevant information about our decision-making processes is available to those who are seeking it) and “outreach” (proactively raising topics and views and inviting people to question us about them). We’ve found that “support” is often not enough: in order to get meaningful engagement on our work and help people become confident in it, we need to have high-level conversations in which we invite back-and-forth. Otherwise, people often feel that they don’t have time to evaluate everything we’ve written, and don’t engage with it.

慈善评论，以及我们主要网站上的大多数其他页面（不是博客），往往是“支持”框架。本框架的核心是，对于我们所做的每一个陈述，应该清楚声明的基础是什么。如果声明的基础只是“我们的猜测”，那应该清楚（所以我们经常使用像“我们猜出的___”这样的语言，而不是简单地说明没有这样的限定符的信念）。如果声明的基础是一个更复杂的推理链，在概念上符合在空间中，那么应该在其他地方制定这种推理并在我们的陈述中联系在一起。如果我们的陈述的基础是文件，网站或对话，我们使用脚注。我们对脚注的约定超出了学术论文的常见情况：我们通常旨在在脚注中包含关键报价（不仅仅是一个引文），我们采取措施（如WebCite），以确保原始文档和完整的上下文可以即使在源的原始主机将其缩小或更改它的情况下，也可以由读取器访问。我们还尝试以逻辑方式构建慈善评审，并在不同的细节级别提供摘要内容，以便始终相对速度，了解我们对给定主题的看法，并确定如何在特定的部分上钻取。

我们通过我们的观点获得的大多数实际参与通过“OutReach”方法，特别是博客和电话会议和现场活动（以及一对一的主要捐助者赠送和我们的主要捐助者最佳慈善机构)．博客可能是让人们参与，理解和信任我们的研究的最有效方法。亚博体育官网通过讨论这些媒体创造，我们更好地了解人们最大的问题和分歧的地方，我们试图在进一步的博客文章和常见问题解答中解决这些问题。“OutReach”方法是在“人们想要知道的内容”的“外展”方法，而不是“我们想到的是什么”，而不是“我们对慈善X或干预Y”的看法，并且通常更加非正式，尽管他们将链接回“支持”内容作为适当的。

在这两个框架中，我们很少发布一段内容而不逾期并询问，“这里的关键点是什么？它们可以在顶部汇总，和/或在身体中粗体吗？“

卢基： 你确认赠送作为的一部分有效的利他主义运动，你也是写“有效的利他主义是不寻常的和争议” - 我们可能会说逆势地位。

罗宾汉森笔记“平均而言，反向投资者的观点不如一般人的观点准确……诚实的反向投资者希望有理性的外界人士会给予他们的反向投资者观点更多的信任，他们应该指出强大的外部指标，这些指标与倾向于更正确的反向投资者足够相关。”

你是否同意汉森的分析那个帖子？如果是这样，那么你认为赠送威尔通常希望合理的外人能够让你的逆向观点高于正常信任，你能指出“强大的外部指标，违反违反违反趋势的外部指标”？

Holden.：我并不完全同意这篇文章。它意味着逆向论点需要“强有力的外部指标”;我认为一个好的论点是内部观点和外部观点的结合，在一个领域有足够的实力可以弥补在另一个领域的严重弱点。我会用不同的方式来表达。我说谁是试图改变思想通过理性说服需要思考的头脑他们试图改变和精神能量多少这样的人可以被合理预期投入评估他们的论点(记住相当强劲低分参数可以创建足够的阴谋让听众to increase their mental energy investment and understand higher-detail arguments). What I agree with in Robin’s post is that there is a non-trivial hurdle to overcome when espousing contrarian views, and (at least initially) a limited amount of mental energy one can expect the audience to invest in one’s argument.

在我们的案例中，到目前为止，我们主要针对的是那些已经认同有效利他主义的人。因此，我们并没有具体地处理太多的“反向”动态。我认为我们必须“克服逆向思维的障碍”的地方是，我们推荐那些人们不一定听说过的慈善机构，而不是传统精英所推荐的慈善机构。在为这类慈善机构辩护时，我们必须考虑如何把一个不太详细的案例放在前面，而不是把人们作为一个整体介绍给我们冗长的研究机构。亚博体育官网我们试图遵循这样的原则:“总结我们的主要观点，并明确如何深入研究其中的任何一个。”这让人们可以通过抽查来获得对我们的信心，而不是通过阅读我们所写的所有内容(我相信很少有人这样做)。

此外，像博客这样的工具可以相信人们随着时间的推移，我们一般都信任和聪明的相关问题，这可以让他们在不评估他们的所有细节的情况下购买我们的索赔。（我认为很多人都遵循了支持Miri的类似途径。）

但即使是在推荐不太知名的慈善机构方面，我们也有很大的优势，因为我们的目标对象是谁。我们的许多用户都是那些已经认同有效利他主义的人，并且已经觉得关于给予的对话质量非常低。他们也经常通过信得过的朋友或媒体来源来找我们。所以他们到达我们的网站时，很容易相信我们的说法是可信的。

作为一个侧视，我认为有效的利他主义在“逆势观”和“不寻常的味道之间的频谱上。我对有效的利他主义的承诺可能最好是“想要/选择是一个有效的利他主义”，而不是“相信有效的利他主义是正确的。”我认为，减轻了一些必须“评估”有效利他主义的负担，尽管肯定不是所有的东西。

卢基：最近你在赠送众多召唤中开始了一个新的计划尤加尔实验室旨在调查甚至更难以分析的原因的有效性而不是例如难以分析。全球卫生干预措施。在全球健康中，您经常从医学科学中学到学习，为特定干预措施进行多次随机对照试验，等等。但调查旨在改善科学，改善政治或经济政策，减少灾难性风险等干预措施的成本效益更难。

所以我想想象，开发的赠品实验室已迫使您开发额外的工具来分析复杂现象，并将您的分析传达给他人。到目前为止，在开发赠品实验室的过程中，你学到了什么东西？

Holden.：我们肯定开发了新的分析和评估方法。我们的工作框架浅侦查用“重要的、容易处理的、不拥挤的”取代“经过证明的、具有成本效益的、可扩展的慈善机构”原因“我们在寻找什么。到目前为止，我们的大部分工作在本质上是定性的，目的是澄清和理解原因的基本景观，而不是评估哪些方法是“被证明的”。我们也做了大量的“浸”——试图大致了解一个领域没有pre-choosing组关键问题和目标(例如,当我开始研究科学研究,我读了一半的生物学教科书,多个机会参加会议的科学家)。亚博体育官网相对于我们的传统工作，到目前为止，我们在实验室前线的更多学习来自于对话而不是研究，因此我们强调(和量)谈话记录大大增加了。

据说，它仍然很早。我认为我们非常远离具体的建议，当我们有具体的建议时，我们可以更容易，更高效地在参与和令人信服的外人方面变得更加容易。我们肯定尝试使用之前提到的同一基本工具：“支持”导向页面（例如，浅侦查撰写)和以“外联”为导向的沟通(例如，专注于实验室博客帖子和实验室专注于人员问答)．

卢基我认为，对于如何对难以量化的现象进行有价值的分析研究，GiveWell提供了一个有用的模型。亚博体育官网是否有其他群体在做你欣赏的类似的事情(但可能是其他主题)，或者你认为他们在做一些重要的事情是正确的，或者你认为在某些方面值得模仿?你称赞Cochrane协作在过去，还有其他的吗?

Holden.：

• 我们绝对是Cochrane的粉丝。他们的工作一直是“透明”的意义上，一个人可以阅读审查，了解大局的感觉，知道在哪里钻取任何人想要钻取的东西，最终 - 如果一个人想要 - 回答任何问题关于他们的结论来的地方。
• 我们对有用性印象深刻，通常，透明度全球发展中心的工作(更多的在这篇博客)．
• 我一般都是Nate Silver的粉丝。虽然我希望他披露了他模型的完整细节，但我通常觉得我对他在概念上的事情上有一个非常好的想法，而不必为理解它而努力。
• While there are many others whose work we use and/or enjoy, those are the only people that jump to mind in terms of “consistently providing transparent, convincing, reasonable analysis of difficult-to-analyze topics and/or topics relevant to GiveWell’s work.” I often see isolated cases of such work, such as particularly good academic papers.

卢基为什么你认为你提供的这种透明度是相对罕见的，因为它似乎有一些可信度的好处?

Holden.我们提供的这种透明度需要很多工作。其中一些是因为我们的方法是相对罕见的——例如，我们不得不这样做重复很多（并处理一些尴尬的情况）能够分享从对话中分享笔记。我们与一些似乎潜在对透明度的潜在似乎有兴趣的组织进行了讨论，但随着他们建立的流程和关系，让他们与购买的所有第三方都是一个巨大的项目和斗争。我们对我们来说更容易，因为我们从一开始就把这个目标放在我们的DNA中，但即使是我们为我们所做的事情感到舒服的挑战，即使是我们所做的事情也是重要的。

即使我们不处理来自第三方的抵抗，我们写入我们的思想的时间也将是我们在研究中的总时间的重要组成部分。亚博体育官网也许是一半。因此，在某种意义上，如果我们没有觉得我们不必广泛分享我们的学习，我们就可以学到两倍。

有了这一说，我认为好处也很重要，我认为他们超越了我们得到的可信度和影响力和反馈。只是写作和支持我们的思想的过程往往让我们更清楚地思考。我们曾经等到我们的研究感受到“完成”来写它，但我们发亚博体育官网现写作的过程不断地使我们重新思考我们的结论和重新打开调查，因为已经逐渐进入我们思想的背景在我们试图做出我们的案件时出现。现在，我们试图将“作为”我们研究它们的东西，因为这个原因。亚博体育官网为一般观众写作，也意味着我们的旧材料更容易吸收新的员工（以及带有不太好的回忆的长期员工），因此我们在内部失去了更少的知识。

Even if we were allocating all of the “money moved” ourselves (rather than making giving recommendations to others) and even if no outsiders could ever see what we wrote, I’d still want to put a great deal of time – maybe almost as much as we do now – into creating clear, supported writeups and summaries.

卢基:谢谢,霍尔顿!