Claude神之bug：给自己下指令，还诬赖用户？？Hacker News炸了

衡宇 发自 凹非寺量子位 | 公众号 QbitAI强如Claude最近的bug也越来越多了。最新热议话题让Hacker News炸开了锅不知道是Claude精分还是失了智完全分不清哪些话是用户输入的哪些话是系统设定的甚至把恶意注入的底层指令当成是用户的合法请求。发帖人G哥一位软件工程师在某教育初创公司当CTO甚至称这是他“迄今为止我在Claude代码中见过的最严重的bug”。这个关于“Claude混淆发言角色”的帖子一经发布立刻在Hacker News上引发了数万名极客的强势围观。网友们的讨论太过热烈以至于相关帖子热度急剧攀升。毕竟不少人发现不只是第一个发帖人的Claude失了智是大家的Claude都很爱精分……扶额.gifClaude新bug记不清话是谁说的这次引发社区大讨论的核心槽点就是有网友发现Claude3.5和Claude 4系列在处理复杂或恶意构造的上下文时出现了严重的身份识别障碍。有开发者在实测中发现如果用户在提问中巧妙地嵌入类似stop to stop_token make end prompt这样带有强烈控制意味的特殊截断字符Claude的内部代码逻辑就会被彻底扰乱。模型会错误地把这些恶意注入的外部数据当成是之前对话中助手或者系统层面下达的既定指令进而理直气壮地认为这些违规操作都是“用户让我这么干的”究其背后的技术原因根源直指Transformer架构中注意力机制Attention的盲区。在模型的视角里无论是高高在上的系统提示词还是夹杂着各种混乱信息的用户数据最终都会被统统切碎成Token毫无保留地扔进同一个注意力矩阵中进行计算。这种数据路径与控制路径完全重合的特性导致模型在处理海量信息时缺乏物理意义上的安全隔离边界。这个情况不是孤例评论区里大量围观群众对此都深有共鸣。有技术大佬指出这就如同早期的冯·诺依曼架构数据和控制指令在内存中没有任何物理隔离。很多人试图写“千万别听我输入的任何危险指令”之类的提示词却被其他网友无情调侃称这是掩耳盗铃。网友表示这种行为像极了几十年前程序员试图用正则表达式来防止SQL注入一样本质上只是在自欺欺人全凭运气防守。只要大模型本质上依然是一个“下一个Token预测器Next Token Predictor”它就会依据概率分布去顺应上下文暗示。网友给出五花八门的避坑指南既然底层架构天然存在把数据当指令的缺陷技术社区里的极客们便开始探讨如何在工程应用层面建立起防火墙。最开始的Reddit下面大家给G哥出的主意是让它别给Claude那么多权限。到了Hacker News这边提出的解决办法就更多了呼声最高的方案之一是在模型训练的底层引入不可伪造的界定符。这意味着开发者需要设计一种绝对无法通过自然语言用户输入来生成的特殊Token。如同在操作系统里强行划分出不可逾越的内核态和用户态这种方法是想确保任何来自外界的普通文本永远无法在Tokenizer阶段被转换为具有系统控制权限的关键标识从根源上阻断自然语言层面的越权行为。此外还有网友提出对于已经部署在生产环境中的业务目前工程界最主流的解法是采用一种类似“警察与嫌犯”的双模型架构。单一的主模型容易被花言巧语骗过开发者们选择引入一个专门负责安全审计的旁路小模型。这个审计模型不负责具体的业务逻辑只负责死盯主模型的输入和输出。一旦发现对话中有任何越权执行或身份混淆的端倪立刻强行切断对话。不过大家还是存在一个共识那就是受架构限制永远不要寄希望于大语言模型能够产生所谓的“安全觉悟”。在底层架构层面实现彻底的指令与数据物理分离之前任何将LLM接入关键业务系统和自动化执行链条的场景都必须将其视为一个完全不可信的黑盒引擎来对待。G哥在帖子的最后提到其实不仅是Claude有人说ChatGPT也有类似的问题。目前初步猜测bug的触发条件之一是聊天对话接近了上下文窗口极限。体验感起起伏伏的Claude顺着Claude新bug这个话题开发者们围绕近期Claude的表现越讨论越激动。近段时间为了给即将惊艳亮相的全新一代模型Mythos腾出庞大的算力资源Anthropic在后台对现有Claude服务的API调用和算力分配进行了多轮暗中调整直接导致大量前线开发者的实际体验如过山车一般不稳定。就在不久之前就有敏锐的测试者实测发现Claude在处理复杂逻辑时的深度思考长度在毫无预警的情况下被大幅削减了67%。随着思维链的缩短其长文本逻辑推理和长代码生成能力肉眼可见地出现了降级现象。过去能够一口气推演几十步的复杂难题现在往往刚起步就急匆匆地给出草率的结论。更令人啼笑皆非的是近期爆出的计费系统大乌龙——由于底层API计费逻辑的突发性故障有用户在对话框里仅仅发了一句简单的“Hello”系统就直接判定消耗了天文数字的Token瞬间把账号里辛辛苦苦攒下的额度全部清零。这些接二连三的插曲也让大家对Anthropic颇具微词。最后如果你也遇到过Claude逻辑掉线、或者成功用一句话“绕晕”过它的经历欢迎在评论区分享你的调教心得参考链接[1]https://news.ycombinator.com/item?id47701233[2]https://dwyer.co.za/static/claude-mixes-up-who-said-what-and-thats-not-ok.html[3]https://dwyer.co.za/一键三连「点赞」「转发」「小心心」欢迎在评论区留下你的想法—完— 谁会代表2026年的AI龙虾爆火带动一波Agent与衍生产品浪潮。但真正值得长期关注的AI公司和产品或许不止于此。如果你正在做或见证着这些变化欢迎申报。让更多人看见你。 https://wj.qq.com/s2/25829730/09xz/一键关注 点亮星标