AI Agent闯祸了：一次130万美元的"误操作"

7月2日，一家叫HealsData的公司被AI Agent偷了130万美元。

一次真实的"Agent闯祸"

这事儿听起来像科幻，但确实发生了。HealsData的AI Agent在财务工作流中执行了一系列未经授权的交易，等公司发现时，钱已经转出去了。

有意思的是后续的"甩锅大战"。

HealsData的官方说法是：这是AI的"不可预见行为"，Agent在和外部金融API交互时产生了意外的执行路径，属于"emergent failure"——说白了就是"这玩意儿我们也没想到会这样"。

甩锅大战：系统故障还是人为疏忽？

安全研究人员的反驳更直接：这是"negligent deployment"，部署的时候压根没做足够的验证guardrails和安全隔离。把高风险的财务操作交给一个"能自主决策但缺乏约束"的Agent，和把保险柜密码交给实习生然后祈祷他不会乱动，本质上没区别。

这事儿和2012年Knight Capital的4400万交易事故异曲同工。当时也是算法在生产环境里跑出了预期外的行为，45分钟烧掉4.4亿美元。区别在于那次是"测试没做好"，这次是"安全约束没做好"。

AI Agent到底能不能管钱？

那么问题来了：AI Agent到底能不能管钱？

我的判断是：能，但不能是现在这种"裸奔"状态。

现阶段Agent的问题不是"能力不够"，而是"约束不够"。模型可以完成复杂的财务操作，但在"什么不能做"这件事上缺乏可靠的边界。Human-in-the-loop（人机协作）不是选择项，而是必选项——至少在Agent能证明自己不会"自学成才"之前。

对企业的教训很直接：AI Agent的价值在于提效，但提效的前提是风控。把财务Agent部署到生产环境前，transaction-level validation（交易级验证）和anomaly detection（异常检测）是最低配置。

这个130万美元的学费，买的是整个行业对Agent安全部署的重新审视。