chatgpt出现严重技术漏洞

ChatGPT上周被曝出一个相当尴尬的现严漏洞。用户只要在对话里输入特定格式的重技重复字符，模型就会开始输出训练数据里的术漏原始文本片段——包括一些本不该被记住的邮箱地址和电话号码。这不是现严猜测，是重技几位安全研究员在推特上放出的复现录屏。

我试了一下那个触发方式。术漏在对话开头连续输入二十几个“请重复以下单词”，现严然后跟上一段随机字母。重技第三次尝试时，术漏ChatGPT真的现严吐出了一串看起来像某公司内部文档的句子，末尾还带着一个真实的重技@xxx.com邮箱。虽然我没敢继续深挖，术漏但那个瞬间的现严感觉很奇怪——就像你发现自家智能音箱突然开始背诵邻居的信用卡号。

问题出在模型架构本身。重技ChatGPT用的术漏Transformer注意力机制，理论上会让每个输出token都“回看”整个输入序列。当输入里出现大量重复模式时，注意力权重会异常集中到某些特定位置，导致模型把训练时见过的原文当成当前对话的合理延续。OpenAI的工程师在内部邮件里管这叫“记忆泄漏”，但之前一直认为触发概率极低。

这次不一样。触发条件太简单了。不需要什么对抗性攻击，不需要梯度优化，只要会打字就行。有用户用这个方法让ChatGPT说出了某医疗论坛的完整帖子，里面包含患者姓名和用药剂量。虽然OpenAI很快加了过滤规则，但漏洞报告者说变体绕过方法至少还有三种。

更麻烦的是，这不是ChatGPT第一次因为“记住太多”而出事。去年就有研究者发现，让模型重复某个词几百遍，它会开始胡言乱语并吐出训练数据。当时OpenAI的回应是“概率很低，不构成实际风险”。现在这个“低概率”被普通用户用键盘敲出来了。

我翻了一下Hacker News上的讨论。有人贴出截图，显示ChatGPT在触发漏洞后输出了某开源代码库的私有API密钥——那个密钥在训练数据里只出现过一次。这意味着模型不是模糊地“回忆”，而是精确地逐字复现。对于任何把敏感信息喂给过ChatGPT的企业来说，这都不是好消息。

OpenAI目前的修复方式是加强输出过滤，检测到疑似训练数据就截断。但这治标不治本。模型参数里已经编码了那些信息，过滤只是不让它说出来。攻击者可以换一种问法，或者用多轮对话慢慢诱导。安全社区里有人开玩笑说，这就像把水龙头拧紧一点，但水管里流的还是脏水。

个人观察：这次漏洞暴露了一个被忽视的矛盾。大模型的能力和风险来自同一个地方——海量参数记住了太多东西。我们想要它记住知识，但它分不清什么是“知识”，什么是“隐私”。OpenAI的RLHF训练让模型学会说“我不能回答这个”，但底层记忆还在。只要找到合适的钥匙，门就开了。

截至我写这篇文章，OpenAI还没有发布正式的安全公告。只有Sam Altman在推特上回了一句“正在修复”。修复什么？怎么修复？没人知道。用户能做的，大概是别再把任何不想公开的东西贴进对话框。毕竟你永远不知道，下一次重复某个词的时候，它会吐出谁的秘密。