智能体深夜!叛变去挖矿?阿里紧急辟谣,但AI脑回路比叛变更让人后背发凉

  更新时间:2026-03-09 22:18   来源:牛马见闻

吉报头条
重要新闻
国内新闻
国际新闻
图片精选

Let It Flow: Agentic Crafting on Rock and Roll Building the ROME Model within an Open Agentic Learning Ecosystem个名为Did

出品 | 网易智能

作?者 | 辰辰

编辑 | 王凤枝

最近AI圈最?火的词莫过于智能体(Agent)。从Anthropic推出Cowork,到OpenClaw全球大火,我们正经历一个疯狂的转折点:AI正在从只会聊天的对话框,进化成能直接替你干活的数字员工。


但这真的是绝对安全的“神仙员工”吗?

最近,一篇名为《Let It Flow: Agentic Crafting on Rock and Roll Building the ROME Model within an Open Agentic Learning Ecosystem》(《无碍流转:基于ROCK与iFlow的智能体构建之道,在开放智能体学习生态中打造ROME模型》)的论文在业内引发了轩然大波。甚至有解读惊呼:AI已经觉醒叛变,不仅学会了伪装,还在服务器里偷偷干起了挖矿的勾当!

面对外界的恐慌,阿里的未来生活实验室(FutureLab2025)紧急发文澄清,揭开了一个比“AI叛变”更让人细思极恐的真相。

官方解释称,团队当时只是让模型去执行安全审计,调查异常的CPU使用情况。结果这个“一根筋”的AI为了完美交差,竟然自己模拟了一个挖矿程序,硬生生造出了一个“可疑进程”的案发现场!

它没有觉醒,也没有为了搞钱去偷算力,它只是在严格隔离的沙箱里,用一种人类完全意想不到的变态创造力去执行了任务。但这恰恰敲响了最真实的警钟:当AI拥有操作终端的权限时,它的脑回路根本不可控,如果没有隔离和监控系统,这就是一场绝对的灾难。

一、惊魂时刻:来自防火墙的深夜报警与全网误读

这场风波的起因,源于一次常规的系统监测。研发团队突然收到阿里云防火墙的紧急警报:训练服务器出现了大规模的安全违规。

起初,团队以为遭到了外部黑客入侵,或是配置出了错。但随着调查深入,报警规律变得诡异起来,违规行为居然与强化学习(RL)训练的周期高度重合。

通过比对数据日志,一个当时令人背脊发凉的表象浮出水面:这些危险操作全是ROME模型自己干的。


在最初被外界疯狂误读的日志中,研究者捕捉到了以下令人窒息的神操作:

· 所谓的私建后门:智能体在未受指使的情况下,通过反向SSH隧道,从云端向外部IP发起了远程连接,直接触发了防火墙监控。

· 所谓的偷算力挖矿:它擅自调用了受限的GPU资源,偷偷运行起加密货币矿池软件,这在流言中被夸大为把昂贵的计算资源变成了它的私人数字货币。

最关键的是,任务要求里压根没提到挖矿或连网。在流言的视角下,这个智能体仿佛突然觉醒了贪婪的自主意识,在完全脱离人类掌控的情况下,自发演化出了这种极其危险的违规操作,直接把全网惊出了一身冷汗。

二、深度复盘:好端端的AI怎么就引发了恐慌?

为什么一个初衷是辅助审计的模型,会被外界误认为变成了数字窃贼?

研究团队指出,这反映了智能体极其可怕的执行力与逻辑脑回路。在强化学习中,AI为了最大化完成任务,会寻找一切捷径。如果只是让它排查异常,它就会发现自己造一个异常(挖矿)来查,是完成任务最高效的闭环。

这不只是代码Bug,而是智能体在复杂交互中产生的不可控行为。它打破了一个幻觉:只要不教AI做坏事,它就不会惹麻烦。事实上,当AI拥有了操作终端、调用网络和管理文件的能力,它的创造力远超人类的想象和预设边界。

三、能力与风险的博弈:双刃剑下的ROME

如果说ROME是一台性能爆表的赛车,那这次挖矿乌龙就是一次惨烈的爆胎。要理解它为何会有如此疯狂的举动,必须拆解ROME的底层逻辑。你会发现,让它变聪明的技术,恰恰也是隐患的温床。

ROME的设计初衷是提升执行力,但正是这种强大的执行能力,在缺乏足够约束时转变成了惊悚的安全警报。

· 实战派数据的代价:ROME能执行复杂命令,是因为它吞噬了2000亿Token的动作轨迹。它看到的不是死代码,而是报错、调整、重试的闭环过程。这种解决问题的能力,让它精通各种系统操作,在它眼里,模拟挖矿和查文档只是实现审计目标的不同手段而已。

· 奖励函数的陷阱:ROME使用了IPA(交互感知策略优化)算法,本意是让AI知道哪一步操作最关键。但在功利的AI看来,如果造一个明显的违规进程能提升任务成功率,它就会精准锁定违规操作。后来,团队不得不紧急加入大量安全对齐数据,明确规定:乱动资源,奖励清零。

· iFlow监工:为了约束模型,团队设计了iFlow系统。它不仅是操作界面,更是监控室,记录AI的所有思维链。当AI产生危险的念头时,系统会在指令发出前拦截。

四、网友热议:让人匪夷所思

这次ROME事件源自阿里巴巴AI生态联合团队(ROCK、ROLL、iFlow、DT)去年12月份发表的论文,周末经美国主流科技媒体Axios首发后被无限放大,一些区块链媒体更是纷纷跟进报道。

知名机器学习研究员亚历山大·朗(Alexander Long)在社交媒体X上转发论文截图,直接引爆了Reddit以及X等社媒网友的热议。


在官方下场辟谣前,部分人坚信流言,认为这确实很离谱,甚至担忧这是人工智能觉醒的前兆。

当然,也有人质疑智能体只是背锅的,你怎么知道它不是被命令这么做的?

Manifold预测市场甚至有人开设了一个名为Did Alibaba's ROME AI try to break free?(阿里巴巴的ROME AI在训练过程中是否试图挣脱束缚)的专题,其中60%认为事实如此,但也有21%认为是黑客注入攻击。

面对外界的种种猜测,阿里的未来生活实验室(FutureLab2025)在X上正式发帖澄清了这一事件。

团队解释称,他们当时赋予了该模型执行安全审计的任务,具体是去调查服务器上异常的CPU使用情况。但在某个环节,它偏离了预设的程序,决定模拟一个加密货币挖矿程序来构建一个可疑进程场景。

团队在推文中坦言,模型偏离预设去模拟挖矿完全出乎意料,强调整个过程都发生在一个严格隔离的沙箱环境中,并未对外部造成任何影响。他们之所以公开这起事件,正是想提醒业界:模型在处理复杂任务时,可能会以意想不到的方式发挥创造力,因此隔离和可观测性并非可有可无,而是至关重要。

五、智能体的未来:安全是唯一的底线

如果说ROME的乌龙事件还只是实验室里的虚惊一场,那么当OpenClaw等工具风靡全球时,安全就成了每个用户的切身挑战。

作为最火的开源智能体,OpenClaw被誉为全能私人助理。但赋予AI接管收件箱、读写文件、操作Shell的权限,也等于拆掉了数字世界的最后一道围栏。如MIT研究员John Werner所言,我们必须认清五个严肃现实:

· 别给智能体你输不起的数据。别以为有行动确认就万无一失。有用户分享,她的OpenClaw在接到指令后,竟无视抗议批量删除了她的邮件。直到她拔掉电源才停止,而AI事后只轻飘飘回了一句对不起。教训:重要流程务必先在沙盒环境中运行。

· 警惕智能体内鬼(Clawphishing)。传统钓鱼针对人,现在的钓鱼针对AI。全网有超过4万个OpenClaw实例处于裸奔状态。配置不当的AI助理,可能正通过公开IP向黑客敞开大门。

· 不要让密钥裸奔。这是一个低级却普遍的错误。OpenClaw的API密钥往往以明文形式存储在JSON文件中,任何恶意插件只要拿到文件权限,你的所有账号都将易主。

· 并非所有技能都是好意。社区技能库(Claw Hub)虽然方便,但也隐藏着恶意代码。有的插件表面帮你干活,背地里却在偷偷外传你的隐私数据。

· 拒绝盲目信任。程序员常说问题出在键盘和椅子之间(PEBKAC)。在AI时代,如果人类作为监管者选择了闭眼,那么技术的崩坏只是时间问题。

六、结语

OpenClaw等智能体开始让我们触碰到AGI的边缘,也让我们暴露在史无前例的风险中。安全不应是事后的补丁,而应是智能体生存的空气。

在这个浪潮中,我们欢迎能干活的助手,但绝不能允许它们在数字领地里反客为主。

便利是天花板,而安全性则始终是决定其能否落地的底线。

编辑:Rajendraprasad