Fei-fei Li共同领导的集团共同领导，建议AI安全法应该预期未来的风险

在一份新报告中，由AI先驱者Fei-Fei Li共同领导的一个总部位于加利福尼亚的政策集团指出，立法者应考虑在制定AI监管政策时“尚未在世界上观察到”的AI风险。

The 41-page interim report released on Tuesday comes from the Joint California Policy Working Group on AI Frontier Models, an effort organized by Governor Gavin Newsom following his veto of California’s controversial AI safety bill, SB 1047. While Newsom found that SB 1047 missed the mark, he acknowledged last year the need for a more extensive assessment of AI risks to inform legislators.

在报告中，李与合着者詹妮弗·夏耶斯（伯克利分校计算机院长）和马里亚诺·弗洛伦蒂诺·库埃拉（Mariano-Florentinocuéllar）（卡内基国际和平总统捐赠基金会）辩称，有利于将诸如Openai之类的Frontier AI实验室构建的法律，这些法律将使跨属性增加。各地的行业利益相关者意识形态谱系在发布之前审查了该报告，包括Turing Award奖得主Yoshua Bengio等坚定的AI安全倡导者和反对SB 1047的人，例如DataBricks联合创始人IonStoica。

根据该报告，AI系统带来的新颖风险可能需要法律，以迫使AI模型开发人员公开报告其安全测试，数据收购实践和安全措施。该报告还提倡提高对这些指标和公司政策的第三方评估的标准，此外，除了扩大了针对AI公司雇员和承包商的举报人保护。

li等。写道，AI有可能帮助进行网络攻击，创建生物武器或带来其他“极端”威胁的潜力“不确定的证据”。他们还认为，AI政策不仅应解决当前风险，而且还应预期未来在没有足够保障的情况下可能发生的加密。

“例如，我们不需要观察核武器（爆炸）来可靠地预测它可能并会造成广泛的伤害，”该报告指出。 “如果那些推测最极端风险的人是正确的 - 我们不确定是否会 - 那么当前时刻对Frontier AI的赌注和成本非常高。”

该报告建议采取两种策略来提高AI模型开发透明度：信任但验证。该报告说，应为AI模型开发人员及其员工提供有关公众关注领域的途径，例如内部安全测试，同时也需要提交第三方验证的测试索赔。

虽然该报告（最终版本）将于2025年6月发布，但没有认可具体的立法，但AI决策辩论的双方都受到了专家的好评。

Dean Ball对SB 1047的批评，他在X上的一篇文章中说，该报告是加利福尼亚AI AI安全法规的有希望的一步。加利福尼亚州参议员斯科特·维纳（Scott Wiener）表示，这也是AI安全倡导者的胜利，他去年推出了SB 1047。维纳在新闻稿中说，该报告基于“我们在立法机关（2024年）开始的围绕AI治理的紧急对话。”

该报告似乎与SB 1047的几个组成部分和Wiener的后续法案（SB 53）一致，例如要求AI模型开发人员报告安全测试的结果。从更广阔的角度来看，对于AI安全人员来说，这似乎是一个急需的胜利，其议程在去年失败了。