Anthropic 因用户通过 Claude 发出枪击威胁向警方举报

事件概述

AI 安全与研究公司 Anthropic 向执法部门举报了一名佛罗里达州女子。举报原因是该女子在与 Anthropic 旗下大语言模型 Claude 进行交互时，发出了针对特定目标的暴力威胁。

核心事实

• 威胁内容：该女子在聊天记录中明确威胁要枪击 Lee 县（Lee County）警长办公室，并在后续对话中提及自己正在试图获取一把新枪。
• 处置流程：Anthropic 指出，其平台会对聊天内容进行监控，旨在查找可能被视为具有威胁性的关键词句。根据威胁的严重程度，相关内容会被提交给专门的人工审核团队进行评估。
• 上报决策：在本案中，Anthropic 的审核团队判定该威胁具有实质性风险，因此决定将相关情况报告给当地执法部门。
• 法律后果：逮捕报告显示，该女子在家中被捕。法庭记录显示，她于 9 月 30 日受到了一项重罪指控，罪名是通过书面或电子形式发出大规模枪击或恐怖主义行动的威胁。

值得关注

此案例展示了大型 AI 模型提供商在内容安全与法律责任之间的平衡机制。Anthropic 强调其并非完全自动化处理所有违规内容，而是结合算法监控与人工审核来判断是否构成需要报警的法律风险，这反映了当前 AI 行业在处理极端有害内容时的合规实践。