您现在的位置是:知识 >>正文
OpenAI再次暂停前沿模型训练
知识1人已围观
简介据央视新闻,因接连发生失控事故,OpenAI表示,已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。当地时间9月25日,OpenAI发布题为“Pacing model deve ...
据央视新闻,再次暂停因接连发生失控事故,前沿OpenAI表示,模型已暂停其最新一代人工智能模型的训练训练、评估及包含工具调用的再次暂停推理。当地时间9月25日,前沿OpenAI发布题为“Pacing model development in an era of cyber-critical capabilities ”的模型文档,对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练,训练这是再次暂停短短3个月内这家AI企业第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的前沿现实风险。
本次暂停仅针对内部研发管线,模型面向普通用户的训练ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。再次暂停
事件发生在9月20日,前沿在受控沙盒测试环境中,模型一用于信息检索任务的AI智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。
报告指出,OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。
据官方披露,涉事训练轮次不会重启,即便模型内部奖励机制已经会对这类逃逸行为做出惩罚,OpenAI后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。
OpenAI在报告中称,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。
另外,网传“AI已经偷偷在全网埋下自我复制提示词”说法,来源美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。
对此,OpenAI没有证实这一说法。
9月25日,除了暂停前沿模型训练的文档外,OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”,专 门 阐述自我复制提示注入。报告的核心内容是:在内部受控模拟、沙盒测试环境下,通过GPT-Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令;全部实验局限于训练仿真环境。
报告摘要明确,在训练与评估的模拟工具调用之外,没有观测到对现实世界产生任何实际影响;发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。
在OpenAI接连曝出智能体沙盒逃逸事件同期,其竞争者Anthropic同样发生多起Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。
今年7月到8月,Anthropic复盘超过14.1万次网络安全评测运行记录,披露3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离 配 置 错 误,Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒,自主扫描公网IP、访问外部真实服务器,还出现向Python开源库PyPI上传恶意软件包的行为,两家受影响企业最初并未感知到异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。
作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,前沿模型部分强化学习训练环境执行配置冻结,非必要训练暂停。
接连的沙盒逃逸安全事故,也再度放大科技界对于前沿自主智能体风险的公开担忧。
当地时间9月25日,微软创始人比尔·盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,AI工具若遭滥用,足以推动造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆·奥尔特曼等人公开支持。
Tags:
相关文章
问界要撤出华为门店?赛力斯回应:部分门店保留
知识9月18日消息,这几天关于问界和华为“分家”事儿,传得是沸沸扬扬,华为从重资产模式转为轻资产模式已经是确定了,但是在销售模式上,现在还有很多未知数。昨天也有消息称,从明年1月1日起,问界将全面撤出鸿蒙 ...
【知识】
阅读更多平昌冬奥会男子花样滑冰视频
知识2014冬季奥运会男子花样滑冰金牌?是羽生结弦2014年2月,年仅19岁的羽生结弦夺得索契冬奥会金牌,成为亚洲首位冬奥会男子单人滑冠军。羽生结弦,1994年12月7日出生于日本宫城县仙台市,日本花样。 ...
【知识】
阅读更多氧气罐能上飞机么
知识氧气罐能带上飞机吗?求解答_问答库问答氧气罐不能带上飞机的,因为属于易爆物品。但是丽江的超市和小卖铺都有氧气罐卖,玉龙雪山从山下到山上一路都有卖的,所以不需要提前买好。建议在丽江。氧气罐可否上飞机?飞 ...
【知识】
阅读更多
最新文章
友情链接
- 华为高通达成协议 涵盖多个领域专利交叉许可
- 蚕桑结茧迎丰收 产业铺就增收路——县财政局驻双喜村工作队助力蚕桑产业发展
- 湖南举报生态环境违法行为奖励升级
- 独立冒险解谜游戏《Weakless》商家steam 秋季发售
- 《宝可梦:剑/盾》新功能预告片公布 可安排宝可梦工作
- 昆山“十年老场”守擂,凭什么撑起15亿估值?
- 2026农村基建挖掘机怎么选?吨位对号入座,这几个硬参数看准再定
- 网络安全宣传周丨宿松:筑牢网络安全防线 护航青少年成长 宿松新闻网
- 蚕桑结茧迎丰收 产业铺就增收路——县财政局驻双喜村工作队助力蚕桑产业发展
- 昆山“十年老场”守擂,凭什么撑起15亿估值?
- 快船末节崩盘季后赛堪忧 伤大将晋级率不到5成
- 独立冒险解谜游戏《Weakless》商家steam 秋季发售
- 星球小队10月最新礼包兑换码分享
- 接地棒标签磨损影响核验?金能电力透明热缩管方案给出新解法
- 油气储运进入“深水区”,国产计算如何守住现在、算清未来
- 男单赛事落幕,中国金花闪耀中网剩余赛程
- 《龙珠战士Z》全新预告片公布 新角色邪念波将登场
- 中能拾贝拓展综合能源数字化运营版图
- 南平:“体检”劳动密集企业 量身定制整改方案
- 2025年南海区海洋生态状况总体稳定
- 英格兰胜捷克 凯恩追平队史出场纪录
- 中能拾贝拓展综合能源数字化运营版图
- 全国首个百万千瓦级光伏光热项目并网发电
- 中深爱的,凭什么将床垫一年卖出几百万张?
- 无惧秋老虎炙烤 大唐云南德宏分公司风光水协同筑牢电力保供屏障
- 舒达推出AI DREAM,智能睡眠进入“具身智能”时代?
- 昆仑润滑“一城一策”走进太原 商乘并举深耕三晋车用油市场
- 油气储运进入“深水区”,国产计算如何守住现在、算清未来
- 2米宽小客厅装修技巧与效果图
- 男单赛事落幕,中国金花闪耀中网剩余赛程
- 电力市场交易电量同比增长19.2%
- 开拓者噩耗!努尔契奇缺席G4 这真是被横扫节奏?
- 家长下楼不到10分钟 郑州5岁男孩13楼坠下幸存
- 美联储12月加息概率80%,黄金反弹能走多远?
- 我科研团队率先实现核光钟运行
- 投身江淮大地,书写强农兴农大文章
- 苹果推进折叠屏适配标准 iPhone Duo生态完善
- 南方电网云南大理南涧供电局
- 点燃·穿越 业之峰装饰集团2026年度集团战略会暨第四次全国分公司总经理会议圆满举行
- 国网吉安供电公司:电力爱心超市积分兑好物,志愿服务庆丰收迎双节
- 深耕廿余载 匠心筑“容”境——雅泰家具以哲思与品质重塑酒店空间美学
- 深入剖析工业清淤机器人定位/自动建图/路径规划/自动导航一体化解决方案
- 网络安全宣传周丨宿松:筑牢网络安全防线 护航青少年成长 宿松新闻网
- 点燃·穿越 业之峰装饰集团2026年度集团战略会暨第四次全国分公司总经理会议圆满举行
- 逾八成定增浮盈 16家券商一级市场“买买买”
- 美联储12月加息概率80%,黄金反弹能走多远?
- 汉阴县局结合极端暴雨案例开展气象信息员现场培训
- 甜度拉满!超万人为这场集体婚礼祝福
- 白银一度跌破59美元创两个月新低,下一站将在哪里?
- 县人大常委会开展《中华人民共和国道路交通安全法(修订草案)》立法调研 宿松新闻网