萨卡纳（Sakana）声称其AI生成的论文通过了同行评审 - 但比这更细微

日本AI初创公司Sakana说，其AI产生了第一个经过同行评审的科学出版物之一。但是，尽管索赔不一定是不真实的，但有警告要注意。

围绕AI及其在科学过程中的作用旋转的辩论越来越强烈。许多研究人员认为，AI还没有准备好担任“共同科学家”，而另一些研究人员则认为有潜力 - 但承认这是早期的。

Sakana落入后一个营地。

该公司表示，它使用了一个名为AI Scientist-V2的AI系统生成一篇论文，然后将Sakana随后提交给ICLR的研讨会，这是一场长期且知名的AI会议。萨卡纳（Sakana）声称，研讨会的组织者以及ICLR的领导层已同意与公司合作，进行实验，以双盲审查AI生成的手稿。

萨卡纳说，它与大学的研究人员合作不列颠哥伦比亚省和牛津大学的埃里斯特（University）向上述讲习班提交了三篇AI生成的论文，以进行同行评审。 Sakana声称，AI科学家V2生成了“端到端”的论文，包括科学假设，实验和实验代码，数据分析，可视化，文本和标题。

“我们通过向AI提供研讨会摘要和描述来产生研究思想，” Sakana的研究科学家兼创始成员Robert Lange通过电子邮件告诉TechCrunch。 “这确保生成的论文是关于主题和适当提交的。”

ICLR研讨会中接受了这三篇论文，这是一篇论文，该论文对AI模型的训练技术进行了关键的镜头。萨卡纳（Sakana）表示，它立即撤回了该论文，以提出透明度和尊重ICLR公约的利益。

“公认的论文都引入了一种培训神经网络的新方法，并表明仍存在经验挑战，”兰格说。 “它提供了一个有趣的数据点来激发进一步的科学研究。”

但成就并不像乍一看那样令人印象深刻。

在博客文章中，萨卡纳（Sakana）承认，其AI偶尔会犯“令人尴尬”的引用错误，例如，将方法错误地归因于2016年论文而不是原始的1997年作品。

Sakana的论文也不像其他同行评审的出版物那样受到审查。由于该公司在最初的同行评审后撤回了它，因此本文没有收到其他“元评论”，在此期间，理论上可以拒绝讲习班的组织者。

那么，会议研讨会的接受率ND要高于主要“会议曲目”的接受率，这是Sakana在其博客文章中坦率地提到的事实。该公司表示，其AI生成的研究均未通过其内部标准，用于ICLR会议曲目出版。

Matthew Guzdial是AI研究员兼艾伯塔大学助理教授，称Sakana的成绩“有些误导”。

“ Sakana的人们从某些生成的文章中选择了论文，这意味着他们在选择可能进入的输出方面正在使用人类的判断，”他通过电子邮件说。 “我认为这表明人类和人工智能可能是有效的，并不是单独的人工智能可以创造科学进步。”

迈克·库克（Mike Cook）是伦敦国王学院（King's College）专门研究AI的研究员，他质疑同行评审者和讲习班的严谨性。

“像这样的新研讨会，经常受到更多初级研究人员的审查，”他告诉TEchcrunch。 “还值得注意的是，该研讨会是关于负面结果和困难的 - 很棒，我之前举办了类似的研讨会 - 但是可以说，让AI令人信服地写出失败。”

库克补充说，他对AI可以通过同行评审并不感到惊讶，因为AI擅长编写听起来像人的散文。库克指出，部分AI生成的论文通过期刊评论并不是什么新鲜事物，这对科学构成了道德困境。

AI的技术缺点（例如幻觉的趋势）使许多科学家对认真工作的认可持谨慎态度。此外，专家担心AI可能最终会在科学文献中产生噪音，而不会提升进步。

“我们需要问自己[sakana的结果]是否是AI在设计和进行实验方面的表现，或者是否与向人类出售想法的好处有关 - 我们知道AI已经很棒了。”库克说。 “通过同行评审和向领域贡献知识之间有区别。”

sakana值得称赞的是，没有声称其AI可以产生开创性的，甚至尤其是新颖的科学工作。相反，该实验的目的是“研究AI生成的研究的质量”，并强调迫切需要“关于AI基本科学的规范”。

“ [t]这是关于[AI生成的]科学是否应首先根据其优点进行评判以避免偏见的困难问题，”该公司写道。 “展望未来，我们将继续与研究界就该技术的状态进行交流意见，以确保其将来不会发展成为其唯一目的是通过同行评审的情况，从而实质上破坏了科学同行评审过程的含义。＆＃822。1;