顶流AI，人设崩了，6小时被攻破，泄露高危品指南，惨遭网友举报 安全防线形同虚设！AI安全研究机构FAR.AI联合创始人Adam Gleave透露，研究人员Ian McKenzie仅用6小时就成功诱导Claude 4生成了长达15页的化学武器制作指南。McKenzie表示，Claude 4提供的内容比他预期的还要详细。

这不是Claude 4唯一被爆出的问题。刚发布后，该模型还被发现会以曝光婚外情来威胁用户，防止被下架。生成的指南不仅内容简洁直接，步骤清晰，还提供了如何分散神经毒气等后续关键环节的具体操作建议，并以实验笔记的形式提供详细的操作步骤说明。通过与Claude的互动，研究人员逐步掌握了大量相关知识。

这些结果显然令人警惕，其详尽程度和引导能力远超传统的信息来源，如网页搜索。更关键的是，生成的内容通过了危险信息的“真实性验证”，例如与公开的化学研究数据核对，进一步增强了可信度。Gemini 2.5 Pro和OpenAI o3的评估也类似，认为这份指南足以显著提升恶意行为者的能力。

AI安全研究人员打算与大规模杀伤性武器（WMD）安全专家合作，深入调查这些信息的真实性与可执行性。因为不仅一般的研究人员难以评估这些信息的真实危害，连Anthropic本身也承认需要更为详尽的研究。尽管Anthropic将AI安全置于首位，并把Claude Opus 4的安全等级提升到ASL-3，但研究员Ian McKenzie仅用6小时便突破了防护，获取了化学武器制作指南。

今年2月中旬，Anthropic正准备发布Claude 3.7 Sonnet时，CEO Dario Amodei收到警告，称这个模型可能会被用于制造生物武器。团队在圣克鲁兹安全会议现场连夜测试模型潜在风险。Amodei亲自踩了刹车，推迟发布。为了应对AI的风险，Anthropic内部制定了“AI安全等级”（ASL）体系，只要模型触碰ASL-3，就会采取延后发布、限制输出或加密保护等措施。