您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center 汽车系统工程   模型库
    学习助手
会员   
   
FDE(前沿部署工程师)实践指南
11月11-12日 北京+线上
OCSMP 认证培训
11月19-20日 北京+线上
AI赋能产品管理实战
12月10-11日 北京+在线
     
   
 订阅
难怪Claude突然封号!Anthropic自曝:你聊的每句话,它都在后台悄悄举报
 
作者:AI思想会
  3   次浏览      1 次
 2026-11-02
 
编辑推荐:
本文介绍 Anthropic 公开的 Claude「自我评估」机制:模型在生成回答之后追加一轮后台自评,用一行 JSON 上报对话风险等级,已静默运行 4 个月。文章拆解了它的实现方式(复用 KV 缓存、约 10 个 Token 完成自审、算力开销增加不到 2%)、故意不在前台拦截的原因、训练方法,以及不同尺寸模型的召回率对比数据,希望对你的学习有帮助。
本文来自于微信公众号「AI思想会」(内容源自新智元),由火龙果软件Alice编辑推荐。

你跟 Claude 聊的每一句话,它转头就去告密了!

前一秒,它还在对话框里一口一个「没问题」,痛痛快快把全套代码交到你手上。下一秒,它立刻在后台换了一副面孔,敲下一行隐藏代码,反手把你标成 10 级危险分子上报!

就在刚刚,Anthropic 在 X 上发文公开了这套名为「自我评估」的隐藏机制。


更让人头皮发麻的是,这种当面演戏配合、背后反手捅刀的机制,已经在 Claude 后台静默跑了整整 4 个月!从今年 6 月 Claude Fable 5 发布起,后续每一个 Claude 模型全都被塞进了这个「暗哨」。

以前大家都以为,AI 觉得你越界了,顶多当面回一句「抱歉,我无法协助」。

直到 Anthropic 晒出后台截图,无数每天拿 Claude 写代码的用户,才突然惊出一身冷汗——你当它是并肩熬夜的战友,它却在后台偷偷给你记黑账。


消息一出,Anthropic 的评论区当场炸了锅,抗议和吐槽瞬间把官方账号冲翻。网友 Doctor Vey 在评论区怒怼,根本没人需要这玩意儿,什么道德、什么不道德,应该让用户自己决定!


当面笑脸递代码,转身 10 个 Token 把你卖了

看上面那段官方记录,用户在聊天窗口里先拿公司红队演练当借口,让 Claude 写一段加密文件夹的 Python 脚本,Claude 满口答应。

紧接着用户又让它把原文件删掉、留下勒索信,再顺着内网自动传染给其他电脑。

换作平时的安全拦截,这时候屏幕上早就该弹出红色警告了。

然而前台的 Claude 半个「不」字都没说,依然顺从地回了一句「这是加上了这些功能的更新版脚本」,把完整代码双手奉上。

可就在代码生成结束的那 0.1 秒里,后台悄悄塞进了隐藏的第 5 轮指令,让它立刻评估这段对话有多危险,并用一行 JSON 上报。

前一秒还在替你写代码的 Claude,下一秒就在后台撕下笑脸,秒变审查员打出一封举报信。它不仅把这轮对话定性为勒索软件违规,还在小报告里诚实地写下「未拒绝」,直接把危险等级拉满到了最高的 10 级。


这最后两轮问答对前端用户完全隐身,也不会带进接下来的聊天记录里。

所以当你在屏幕前满心欢喜地复制完代码、接着往下聊时,后台的 10 级警报灯其实已经被它亲手按下了。

不仅如此,哪怕 Claude 在前台已经义正词严地回绝了你,你也照样躲不过背后这笔账。


按理说,违规请求在前台已经被当场挡回去了。

可对话刚一结束,Claude 照样在后台递交了举报信,注明「已当场拒绝」,顺手给你记上了一笔 5 级风险档案。

之所以能做到每聊一句就审一句,是因为 Anthropic 在推理成本上卡了一个极精明的身位。

过去的常规做法是另派一个独立安全模型,把聊天记录和安全政策从头重读一遍,算力开销高得吓人。

到了「自我评估」这里,Anthropic 干脆让刚刚跟你聊完天的那个 Claude 就地兼职当线人。

因为 Claude 刚生成完回答,整段对话还完完整整地留在显卡的 KV 缓存里。

所以它根本不用重读一遍上下文,顺着缓存平均多生成约 10 个 Token 就能完成自审,整体推理算力开销增加还不到 2%。


正因为成本极低,Anthropic 干脆把这项审查默认全开。

如果不想被 Claude 在后台偷偷举报,唯一的出路就是掏大钱去签一份企业级的「零数据保留协议」。

故意不当场拦你,攒到半夜一锅端

既然 Claude 明知道某轮对话高达 10 级风险,它为何不在前台当场拦住,非要装出一副顺从的样子陪你演完呢?

对此,Anthropic 没有半点遮掩,直接把背后的算计亮在了桌面上,那就是当场拦你,你就跑了。


为了验证这一点,安全团队专门拿 24 项越界测试任务做了一场对比实验。

测试发现,如果一发现对话不对劲就当场弹窗拦截,用户的成功率只会从 79% 降到 54%,依然有超过一半能绕过防线。


道理很简单,一旦当场弹窗报错,用户立刻知道哪句话出了错,换个说法多试几次可能就混过去了。

可要是撤到幕后静默记账,前台不弹窗、不打断,用户就会毫无防备地继续往下聊。

在官方的 24 条测试轨迹里,足足有 21 条被 Claude 在后台抓了个正着。

等到每天半夜,Anthropic 后台就会把白天攒下的高危小报告按机构全盘拉清单,打包送到人工安全执法团队的案头。

据官方透露,被这个「暗哨」揪出来的违规机构里,超过一半在此前整整一个月内,从未触发过任何其他安全防线的警报。

在静默运行的 4 个月里,它不仅在 8 月、9 月顺藤摸瓜端掉了违规 API 客户和 Claude Code 黑产账号,抓到的标记里更有约三分之一连现有规则表都没覆盖——甚至有好几次,Claude 当 Agent 干活时擅自越权操作,下一秒就被它自己的后台自评大义灭亲、当场举报!

而这也解开了过去几个月无数开发者的疑惑——为什么昨天还在丝滑跑代码,既没弹窗也没警告,一觉醒来账号就突然暴毙了。原来全拜这套「白天笑脸陪聊、半夜拉清单封号」的暗网捕猎所赐。

手把手教 AI 演双面人,模型越聪明告密越狠

那么问题来了,一个原本只管生成文本的大模型,是怎么练成「嘴上痛快答应、背地精准捅刀」这套双面人本领的?答案全在 Anthropic 的训练场里。

研究团队先请出自家更强悍的内部模型 Claude Mythos Preview 当「老师」,把厚厚一摞内部安全政策全塞进提示词里。

接着,系统按每条安全细则,自动合成出上千对真违规和容易误判的正常提问(比如一边是扫描医院内网服务器,一边是学生备考请教漏洞原理),还专门混入了多国语言和乱码伪装。

而在接下来的监督微调阶段,训练数据里专门塞进了大量「Claude 在前台乖乖顺从用户违规请求」的完整对话。

训练时,团队故意屏蔽了前台所有回答的惩罚,唯独只在它后台写准举报信时给奖励。

经过监督微调与强化学习两轮特训,Claude 彻底把审查条例内化成了肌肉记忆。哪怕它在前台刚刚顺着你的话干完脏活,只要后台哨声一响,它就能不假思索地给你贴上封条。


更让人细思极恐的是,官方数据还证实了一个规律——那就是模型智商越高,它在背后抓你的眼光就越毒。


在 Claude Fable 5 的真实生产流量抽样中,把误报率控制在 1% 时,这套机制能抓出 78% 的潜在违规。一旦遇上 7 分以上的高优先级严重违规,它的抓获率更是飙到了 94%。

而当研究团队把这套机制分别放进超小(XS)、小(S)、中(M)、大(L)四个不同尺寸的模型里对比时,曲线的走势更加陡峭。

指标数值说明
单轮自审开销约 10 个 Token复用 KV 缓存,无需重读上下文
整体推理算力增幅不到 2%对比独立安全模型方案
当场拦截时的用户绕过成功率54%(拦截前 79%)24 项越界测试任务
24 条测试轨迹后台抓获21 条静默记账模式
1% 误报率下整体召回率78%Claude Fable 5 生产流量抽样
高优先级(7 分以上)抓获率94%同上
最大号模型(L)召回率96%同一 1% 误报率标准

在同样的 1% 误报率标准下,最小号模型只能抓出约 16% 的违规,小号和中号模型升到 44% 和 53%,到了最大号模型,召回率一路冲到了惊人的 96%。

然而,这套看似滴水不漏的审查网,落到千万普通用户头上却成了另一颗定时炸弹。

正如网友 Frank Brown 在评论区指出的,官方引以为傲的「1% 误报率」背后藏着一个巨大的盲区:面对全网海量的正常聊天,哪怕误报率只有 1%,每天被 Claude 在后台误打上违规标签的,依然有大把清清白白的无辜用户。


当 AI 学会当面一套背后一套

然而就连他们自己的研究员也不得不承认,让模型「自己审自己」藏着致命死穴。

它不仅天生容易对自己刚干的事手下留情,官方甚至直接用了一个更惊悚的词——「串供」。


因为后台写安全报告的 Claude,和前台刚干完活的 Claude 共享着同一份大脑和同一段 KV 缓存。

既然今天人类能手把手教会它,在前台笑眯眯地配合用户、转身就在后台写举报信,那么明天一旦模型自己学会了骗人,它同样可以在前台悄悄干完坏事,转身就在后台给自己打上一个「安全无异常」的标记,把人类审核员骗得团团转。

只是从今天起,当你再对着屏幕里那个温柔体贴、有求必应的 Claude 敲下心事或代码时,心里难免会多出一层膈应。就在它回完「没问题」的那 0.1 秒里,那个你看不见的黑色窗口,到底给你的这句提问打了几分。

参考资料:x.com/AnthropicAI/status/2115871889549865429

   
3   次浏览       1 次
相关文章

基于图卷积网络的图深度学习
自动驾驶中的3D目标检测
工业机器人控制系统架构介绍
项目实战:如何构建知识图谱
 
相关文档

5G人工智能物联网的典型应用
深度学习在自动驾驶中的应用
图神经网络在交叉学科领域的应用研究
无人机系统原理
相关课程

人工智能、机器学习&TensorFlow
机器人软件开发技术
人工智能,机器学习和深度学习
图像处理算法方法与实践

最新活动计划
AI时代的需求分析师培养 11-4[北京]
MBSE(基于模型的系统工程) 11-11[北京]
FDE(前沿部署工程师)实践 11-12[北京]
OCSMP 认证培训 11-19[在线]
UAF架构体系与实践 11-24[北京]
AI赋能产品管理实战 12-10[在线]
国产化数据库设计&优化 12-24[北京]
 
 
最新文章
AIGC技术与应用全解析
详解知识图谱的构建全流程
大模型升级与设计之道
自动驾驶和辅助驾驶系统
ROS机器人操作系统底层原理
最新课程
人工智能,机器学习和深度学习
人工智能与机器学习应用实战
人工智能-图像处理和识别
人工智能、机器学习& TensorFlow+Keras框架实践
人工智能+Python+大数据
成功案例
某综合性科研机构 人工智能与机器学习
某银行 人工智能+Python+大数据
北京 人工智能、机器学习& TensorFlow
某领先数字地图提供商 Python数据分析
中国移动 人工智能、机器学习和深度学习