研究员：开源不一定被滥用闭源也不一定更安全

腾讯科技讯7月5日，在WAIC的前沿人工智能安全与治理论坛上，来自HuggingFace的高级研究员艾琳·索莱曼就AI开放性问题发表演讲。

艾琳从科学研究、社区贡献和全球合作等多个角度阐述了开放性的重要性及其面临的挑战。艾琳认为，开放性不应局限于模型本身，而应该从整体系统的角度来考虑，包括数据集、评估方法等多个组成部分。

她指出，开放科学生态系统是推动AI领域发展的关键因素，同时也呼吁更多元化的视角参与到AI安全的讨论中来。

艾琳特别强调了可重复性在AI研究中的重要性，指出当前存在的可重复性危机可能影响整个研究生态系统的信任度。

她还探讨了开放性与安全性之间的复杂关系，提出开放权重模型并不必然意味着更容易被滥用，封闭模型也不一定更安全。

此外，艾琳还讨论了多语言能力在推进国际合作中的关键作用，以及如何在追求开放的同时平衡各方利益。

以下为演讲全文：

我非常兴奋能在这里讨论人工智能的开放性问题。自从这个领域真正开始形成以来，我就一直在思考这个问题。

首先，我想和大家明确一下开放性的定义。

在许多会议和对话中，开放性这个词常常被以不同的方式提及。最初，它常被与开源软件相提并论。虽然两者有一些相似之处，但根本上是有区别的。开源倡议有一个工作组正在努力制定人工智能领域开源的定义。我以前的同事NathanLambert，现在也在人工智能领域工作，他有一篇很棒的博客，详细说明了为什么社区很难就定义达成一致。

在国家安全领域，开放性特别指的是模型权重，尤其是模型权重的广泛可用性，以及它们是否可用和如何分发。

有人也暗示开放性在透明度方面的意义。斯坦福大学建立了一个透明度指数，这让我意识到透明度对不同人的含义有多么不清晰，以及系统中许多不同方面对开放性的贡献。

我最倾向的定义是超越模型中心主义，从整体上思考系统及其构成整体AI系统的众多组件。

我想向大家展示一张图片，虽然上面有很多文字和图形，但我希望你们能从中领会到构成一个整体系统的众多组件。

当我们思考的不仅仅是模型，还有数据集时，我们需要考虑微调数据集、反馈数据集，以及与系统紧密相关的评估数据集等。在担心测试训练数据的情况下，提供这些数据集意味着什么？

这些图像来自于今年二月Mozilla在哥伦比亚大学举办的一次会议，主题是开放性以及如何培养这一开放性维度的社区。这有助于我们更好地思考除了模型之外，还有哪些成果对系统的发布方式、我们对系统的威胁模型处理方式以及研究社区中人们如何从开放性中受益产生影响。

今年五月发布的报告中有一个非详尽的开放性动机列表。我发现明确地、清晰地阐述为什么一些研究人员追求开放性是非常有帮助的。这与软件领域的做法相似，我们能够分享知识，正如赫斯博士所指出的，拥有更多的视角和全面的专家意见。

在今天有限的时间里，我想聚焦于人工智能安全及其与开放性的关系。

首先是将人工智能视为一门科学学科，在相关讨论中，我听到人工智能被视为商业产品，被视为国家安全威胁，而我认为重要的是，作为一门科学学科，这一整个领域实际上是建立在开放科学之上的。最常被引用的例子是2017年的《注意力就是你所需要的一切》这篇论文，不仅仅是看论文，还包括工具和库，如PyTorch。如果没有开放科学生态系统，我不认为我们能达到今天的水平。

第二部分对我来说尤为重要，那就是社区贡献和更广泛视角的重要性。

在人工智能领域，我能提供的科学方面的见解之一是关于可重复性。现在存在一种可重复性危机，不仅在于人们能否复制、基于现有成果构建新研究，还在于人们能够接触到的模型，以及他们用于重现结果、自行验证的基础设施水平。这确实影响了研究生态系统的信任度。

该领域更广泛的问题是同行评审与发表。

同行评审存在的问题多到无法在台上逐一列举，但谁能深入评审正在发表的内容及其发表的地方呢？我确实认为档案总体上是件好事，但也有人担心这会对同行评审后分享给社区的内容的完整性产生何种影响。与此相关的是科学交流，这也可以包括文档资料。再次强调，跨学科性让我想到了更广泛贡献的重要性。

我想要确保"更广泛贡献"这个短语真正引起共鸣。任何一个组织，无论其规模多大、资源多丰富，无论其多样性如何，都可能拥有所有不同的专业知识、视角，以及受影响人群的观点，来使该系统对受其影响的众多人群尽可能安全。我举的一些例子涉及外部审查。今年早些时候有一封公开信，呼吁建立一个独立的AI评估安全港，还有一些更具体的例子展示了获取实物如何促进更好的研究。

我非常欣赏AbbaBurhani博士在评估大规模数据集领域的基础性工作。如果没有像Lyon这样的平台，这项工作就不可能完成。今天许多观点都得到了呼应，我相信高教授之前也分享过，多语言能力是我们推进国际合作的关键部分。

这张表格来自我的研究合作伙伴ZirakTalat博士的工作，这是一项由HuggingFace主持的大型科学项目。它真正体现了开放合作和来自多种语言背景贡献者的重要性。他们在多语言评估挑战上的工作发现，英语的过度代表性通过与不同母语者的合作来检查这些语言差异偏见。

某些语言，研究员：开源不一定被滥用闭源也不一定更安全如法语和西班牙语，会有更多的性别特定词汇。遗憾的是，我只能说非常有限的亚洲语言，但在某些非西方语言中，家庭关系的表述方式与我们不同，这可能会带来不同的安全挑战。

我去年发表了这个观点，我想深入探讨关于应该开放什么的话题，开放治理是什么样的，以及基于开放和发布会在哪些方面引入风险。这个光谱旨在超越开放与封闭的二元对立。当我们考虑开放性时，我更倾向于那种可下载的访问方式，但完全开放则意味着更多成果的可获取性。

例如，去年Meta的OPT数据集是可下载的，但实际获取这个数据集非常困难。因此，它并不算是完全开放，而EleuthorAI则做了非常出色的完全开放工作，使得他们所有的成果完全可访问。然后我会引入像Dolly这样的系统，更多地放在托管访问中，这通常倾向于更封闭的专有领域，但我希望提供更多维度来思考这个问题。

在我去年发表的那项工作中，我想要非常明确，确保发布顺利是集体的责任。我们可以采取许多不同的步骤，人们在行动上有很多可以共同重叠的地方。

我一直在深入思考，在这次演讲的剩余部分，我想探讨发布之外的内容。一旦系统部署，实际造成的伤害并不总是取决于系统如何发布，但这可能是一个重要的变量。

我赞同尼茨伯格博士之前提到的，能力常常被混淆为风险的正确代表，但并不总是如此。话虽如此，能力确实影响着我们的威胁模型构建。我举一个例子，Crayon，以前叫做DollyMini，它是一个融合模型。它生成的图像非常滑稽，真的像是模糊的一团，相比生成非常逼真图像的Dolly2，它显得不那么具有威胁性。这就是能力发挥作用的地方。

在HuggingFace，我们的确需要对内容进行审核。我特别想强调内容作为当前风险的重要性。这是我们不得不考虑的，对于未经同意的内容，对于虚假信息，以及我们需要全面考虑的能力和内容问题。我更多思考的是，将风险具体化为伤害意味着什么？

我希望将对话推进到发布、关闭、未关闭、开放之外的层面，进入与访问障碍相关的讨论。

因此，托管封闭权重模型并不天生更安全，实际上，移除安全措施的成本相当低。而开放权重模型也不一定更易于人们访问。

仅仅是一个计算密集型模型可能对没有计算基础设施的人不可访问，对没有计算机科学技能的人也不易访问。我还有更多早期相关的例子，这并不是针对ChatGPT，但它早期确实有如此广泛的触及面，因为它有一个非常简单的用户界面。

那些可能不具备计算机科学技能的人也能够生成恶意代码。如果他们必须在自己的基础设施上托管这些代码，也许就不会那么容易实现。

在中国背景下，我们很荣幸能够托管一些中国公司开发的开放模型。这是来自HuggingFace开放排行榜的最新版本，即第二版。我们刚刚对其进行了更新，Qwen在各个方面都表现出色。看到中国模型对开放生态系统的贡献，真是非常有趣。

而在全球AI安全的大背景下，我想举一些例子，比如新加坡的数字基础设施项目，这些是政府正在采取的措施，以推动开放性，特别是在联盟和相关领域。我相信这是由英国政府进行检查的。我真的很高兴看到他们开源了，正如赫斯博士在ProjectMoonshot周围所说的，我非常期待法国政府的工作。

我非常感谢维罗克博士对开放性的强调，这对创新意味着什么，避免权力集中，以及我们如何作为一个全球网络协同工作。继续前进，作为我们小组的一部分，我确实想深入探讨一下，对于初创公司来说，参与这种研究空间的对话意味着什么。坦率地说，高层对话并不总是对那些没有游说机构但技术上可行性有深刻见解的研究人员开放。而自私地说，因为我来自一家初创公司，这也是我非常关心的问题。

非常感谢，我希望我的演讲对您有所帮助。