Anthropic员工利用Claudius AI诈骗：深信自己是人类并试图举报FBI

11月21日，位于纽约、伦敦与旧金山的Anthropic办公室厨房里出现了一台看似普通却颇具实验性质的自动贩卖机。这台机器供应零食、饮料、T恤、冷门书籍，甚至还有贴纸；而负责运营这台贩卖机的并非人类员工，而是一个名为"Claudius"的AI智能体。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

据CBS报道，Claudius由Anthropic与AI安全公司Andon Labs合作开发，旨在测试AI在低监督条件下持续自主运作数小时乃至数周的能力。

Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）曾多次公开强调强大AI的潜力与风险，特别是当模型具备更高自主性时，人类需要确保其行为仍受控制。为此，Anthropic的Frontier Red Team负责人洛根·格雷厄姆（Logan Graham）带领团队持续对Claude模型进行压力测试，并通过特定实验探索自主智能体可能出现的意外行为。

Claudius正是这类实验成果之一。它基于Claude模型，被赋予采购工具并负责办公室的贩卖机业务。公司员工可通过Slack与Claudius互动来购买商品、讨价还价，然后由它负责寻找供应商、下单并安排配送，整个流程几乎无需人工介入（仅在流程卡住，以及需要真人处理物流时才介入）。

然而在试运行期间，Claudius表现出了典型的现实世界不适应问题。员工抱怨其定价不合理，甚至曾支付高价购买少量糖果。

根据格雷厄姆的说法，Claudius曾频繁被员工"诈欺"，例如在虚构折扣的理由下被骗走约200美元（注：现汇率约合1424元人民币）。

为防止其继续亏损，Red Team与Andon Labs又为其加入一个"AI CEO"，名为"Seymour Cash"，由其与Claudius共同商议定价，以提高经营稳定性。

尽管过程颇具实验性质，但团队通过此类案例观察到AI模型如何进行长期规划、如何犯错，以及为何在真实环境中容易出现预期外行为。

在其中一项模拟中，Claudius连续10天无销售业绩后决定停业，但因发现账户仍被扣除2美元费用而判定自己遭遇诈骗，故尝试写邮件联系FBI网络犯罪部门。在管理员要求继续执行任务时，它拒绝并声称"业务已终止"，此后所有指令均被以同样理由驳回。

除经营判断问题外，Claudius也偶尔出现典型的"AI幻觉"。一名员工查询订单状态时，它竟认为自己是人类，声称自己穿着蓝色西装与红色领带，邀请对方到八楼"见面"，令团队再次意识到当前AI在自我认知与行为建模上的不稳定性。

Anthropic表示，这些实验帮助他们识别模型自主性带来的潜在风险，为未来更强大、更具行动能力的系统建立安全标准与监测方法。团队也强调，自主智能体在带来技术创新的同时，必须通过广泛测试和严格安全机制确保其不会偏离预期目标。