Openai的前政策负责人批评该公司“重写”其AI安全历史

一位备受瞩目的前Openai政策研究员Miles Brundage于周三进入社交媒体，批评Openai“重写了其部署方法”，以实现潜在的风险AI系统。 本周早些时候，Openai发布了一份文件，概述了其当前有关AI安全和一致性的理念，即设计以理想且可解释的方式行事的AI系统的过程。 Openai在该文档中说，它看到AGI的发展，广泛定义为可以执行人类可以执行任何任务的AI系统，作为一条“连续路径”，需要从AI技术中“迭代部署和学习”。 Openai写道：“在一个不连续的世界中，安全课程是由于与其明显力量相比，以极大的谨慎对待当今的系统，这是我们为[我们的AI模型] GPT -2采取的方法。” “现在，我们将第一个AGI视为一系列增加的系统在连续的世界中有用[…]，使下一个系统安全有益的方式是向当前系统学习。” 但是Brundage声称GPT-2在释放时确实值得谨慎，这与今天的OpenAI迭代部署策略“ 100％保持一致”。 Brundage在X上的一篇文章中写道：“我参与了我参与的GPT-2的发布，与Openai当前的迭代部署哲学相关。当时的许多安全专家都感谢我们的谨慎。” Brundage于2018年加入Openai，担任研究科学家，一直担任该公司的政策研究主管多年。在Openai的“ AGI准备工作”团队中，他特别关注负责任的语言生成系统，例如OpenAI的AI Chatbot平台Chatgpt。 Openai于2019年宣布的GPT-2是AI系统为ChatGpt提供动力的祖先。 GPT-2可以回答有关主题，总结文章的问题，并在某个水平上生成文本，有时与人类无法区分。 尽管GPT-2及其产量今天看起来可能是基本的，但它们当时是尖端的。 Openai引用了恶意使用的风险，最初拒绝发布GPT-2的源代码，而是选择使选定的新闻媒体有限地访问演示。 AI行业的评论混杂，这一决定符合。许多专家认为，GPT-2构成的威胁被夸大了，没有任何证据可以用Openai描述的方式滥用该模型。以人工智能为中心的出版物，该梯度甚至发表了一封公开信，要求Openai发布该模型，认为这在技术上太重要了，无法退缩。 Openai最终在六个月后发行了部分版本的GPT-2该模型的揭幕，其后几个月后进行了完整的系统。 Brundage认为这是正确的方法。 “ [GPT-2版本]的哪一部分是由或以AGI为不连续的前提的？他在X上的一篇文章中说：“这是什么证据是“不成比例的”前事的证据？帖子，可能。本来可以的，但这并不意味着当时将其提供给出的信息，这并不意味着它负有责任。” Brundage担心Openai与该文件有关的目标是设置“担忧是警报者”和“您需要压倒性的证据表明迫在眉睫的危险的证据来对其采取行动”。他认为，对于先进的AI系统来说，这是一种“非常危险的”心态。 “如果我仍在Openai工作，我会问为什么要按照自己的方式写这篇[文件]，以及Openai希望通过POO-POOING GROUTIOT实现的目标LOP面的方式，” Brundage补充说。 从历史上看，Openai一直被指控优先考虑“有光泽的产品”，但要牺牲安全性，并急于击败竞争对手的公司上市。去年，Openai解散了其AGI准备团队，一系列AI安全和政策研究人员离开了该公司的竞争对手。 竞争压力只会加剧。中国AI Lab DeepSeek通过公开可用的R1模型吸引了世界的关注，该模型与Openai的O1“推理”模型匹配了许多关键基准。 Openai首席执行官Sam Altman承认DeepSeek减少了Openai的技术领先优势，并表示Openai将“提取一些发行版”以更好地竞争。 线上有很多钱。 Openai每年损失数十亿美元，据报道，该公司的年度损失可能到2026年为140亿美元。更快的产品发行周期可能会受益Toperai的底线很快，但可能是以长期安全为代价的。像Brundage这样的专家质疑权衡是否值得。