场外股票配资杠杆 OpenAI成立新的安全委员会，对AI安全的关注点转向了吗？

发布日期：2024-08-03 20:36 点击次数：72

OpenAI关于安全治理的舆论风波迎来新进展，“超级智能对齐”团队解散后，近日OpenAI宣布成立了一个新的安全委员会。该委员会由OpenAI CEO萨姆·奥尔特曼（Sam Altman）等人领导，并宣布公司已经开始训练下一个前沿模型。OpenAI在当天发布的一份声明中表示，该安全委员会将就项目和运营的关键安全决策向董事会提供建议。

从公开的信息看，新安全委员会的职责与此前OpenAI解散的“超级智能对齐”团队不完全一致。投行D.A.Davidson分析师Gil Luria表示，新的安全委员会标志着OpenAI完成了从一个不明确的非营利实体向商业实体的转变，这应该有助于简化产品开发，同时保持问责制。

此前OpenAI成立“超级智能对齐团队”曾引发关于AGI（通用人工智能）是否已经实现、是否符合人类价值观的讨论。

除此之外，目前业界关心的另一大话题是AI训练和应用是否会引发新的安全问题，如数据泄露、网络安全攻击等。OpenAI的安全团队经历更迭，关注点或许也已发生转向。

安全团队调整告一段落

OpenAI安全团队的调整早已开始。

上一次备受关注的事件是OpenAI联合创始人兼首席科学家伊利亚·苏茨克沃（Ilya Sutskever）离职。当地时间5月14日，苏茨克沃宣布将离开OpenAI。外界关心的是，苏茨克沃离开后，其负责的OpenAI“超级智能对齐”团队是否依然“安好”。不久后，OpenAI证实“超级智能对齐”团队已解散。

“超级智能对齐”团队有特殊职责。该团队去年7月成立，致力于研究防止AI系统异常的技术解决方案，对齐的意思是要求AI系统的目标要和人类价值观与利益相一致。基于苏茨克沃本人在公开发言中对安全的强调，以及去年11月他参与了OpenAI董事会对奥尔特曼的解雇行动，人们对OpenAI是否已经实现AGI多有猜测，甚至猜测OpenAI对于相关事项有所隐瞒、苏茨克沃与奥尔特曼之间存在嫌隙。

外界认为OpenAI隐瞒了大模型最新进展的证据是，苏茨克沃去年10月在一次采访中提到，ChatGPT可能有意识，世界需要清醒认识到他的公司和其他公司正在创造的技术的真正力量。有人猜测苏茨克沃看到了AGI。在今年3月的一次对谈中，奥尔特曼澄清，他和苏茨克沃都没见过AGI，并表示苏茨克沃不会考虑一年内会发生什么，而是考虑十年后会发生什么。

无论如何，OpenAI新的安全委员会的成员和责任与“超级智能对齐”团队不完全一样。OpenAI在相关公告中表示，公司构建和发布在能力和安全性上行业领先的模型并为此感到自豪，但仍欢迎在这个重要时刻进行激烈辩论。新的安全委员会将在未来90天内评估和进一步完善OpenAI的流程和保障措施，90天后与全体委员分享建议，董事会审查后将公开分享最新情况。

除奥尔特曼，该安全委员会人员还包括OpenAI董事会成员Bret Taylor（布莱特·泰勒）、Adam D’Angelo（亚当·德安杰罗）、Nicole Seligman（尼克·塞利格曼），以及首席科学家Jakub Pachocki（雅各布·帕乔奇）、OpenAI早期筹备团队的Aleksander Madry（亚历山大·马德里）等，均为OpenAI内部成员。OpenAI还承诺将聘请第三方安全、安保和技术专家来支持委员会工作。

业内在关注什么？

解散“超级智能对齐”团队并成立新安全委员会，OpenAI可能是有多种考虑。

外界认为，OpenAI内部对AI的发展有两种态度，保守派强调安全和OpenAI的基本价值观，苏茨克沃是保守派代表人物，另有一派更强调加快发展和商业化，奥尔特曼是这一派代表人物。除了苏茨克沃对安全问题的考虑长远且谨慎、外界认为他与奥尔特曼加快商业化的思路存在分歧，“超级智能对齐”团队此前占用OpenAI资源还颇多。

OpenAI曾表示，将在4年内向该“超级智能对齐”团队投入20%计算资源。而此次宣布新安全委员会成立的公告中，OpenAI未提及将向该委员会投入的资源。

从资源分配的角度，若减少安全团队的投入，OpenAI便可以更关注商业化。OpenAI已在加快商业化，近期的春季更新发布会上，OpenAI推出适用苹果macOS的桌面应用。近日还有消息称，苹果与OpenAI达成协议，将在今年的iOS 18系统中引入一系列生成式AI功能。鉴于OpenAI已在商业化上逐步推进，一名互联网厂商AI相关负责人向记者分析，苏茨克沃离职的相关变动对OpenAI的商业化方向应该不会有太大影响。

包括OpenAI在内，近期业内对大模型应用落地给予了更多关注。在安全问题上，业内讨论更多的则是法律法规制定以及AI训练和应用时可能引发的具体安全问题。今年5月，欧盟理事会正式批准《人工智能法案》，作为全球首部AI领域全面监管的法规，该法案采取“风险分级”监管模式，对不同级别风险设置相应合规要求，涉及版权保护、数据和隐私保护等。

国内多家大模型厂商则关注大模型训练和应用中的数据泄露等问题。

近日接受第一财经等媒体采访时，腾讯云安全总经理李滨表示，大模型安全涉及模型本体安全、内容安全、数据安全和应用安全多个方面。模型本身涉及数据合规性和人工智能道德准则，模型预训练和微调、用户输入输出过程中涉及高价值数据、交互数据，呈现较复杂的数据安全问题，大模型应用中还需有安全控制机制，以控制内容输出。另有安全专家告诉记者，需关注的安全问题还包括恶意大模型网络犯罪、诈骗，以及语料库非法获取、训练数据不合适导致输出文本呈现偏见、数据存储环节数据泄露、恶意内容生成风险。

业界相关尝试包括此前火山引擎推出大模型平台火山方舟，针对数据泄露等风险，该平台上线了基于安全沙箱的大模型安全互信计算方案，利用计算隔离等方式保障模型机密性和完整性。360集团、中国电信则推出相关安全大模型，以大模型技术应对AI治理相关风险。

举报第一财经广告合作，请点击这里此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部：021-22002972或021-22002335；banquan@yicai.com。文章作者

郑栩彤