这事儿一点都不意外。代码有bug能修,但Agent有了自主决策权,bug就不再是bug——是漏洞、是后门、是真金白银的损失。
HealsData这事儿,根子在几个地方:第一,权限没做细粒度控制,Agent能直接划款;第二,没有异常检测,130万转出去连个短信验证都没;第三,没有熔断,额度没上限。
但说回来,这不是AI的问题,是人的问题。给一个实习生公司账户密码还不设限额,出事怪实习生?一样的逻辑。Agent时代来了,安全架构必须跟着进化——不是不信任AI,是不能把信任建立在「它不会犯错」这个假设上。