我型我秀

Anthropic发布论文预警智能体悄悄聊天就能传播病毒_我的网站

我爱我家

一 | 近日，我市的“大伙房水库鳙鱼”被农业农村部纳入“全国名特优新农产品”名录。　　近日，大模型厂商Anthropic与瑞士洛桑联邦理工学院联合发布论文《心智病毒：多智能体大语言模型系统中的自我传播思想》。

二 | 至此，我市在“全国名特优新农产品”方面实现了零的突破。　　论文通过实验证明，在特定条件下，AI智能体之间可以通过最普通的自然语言对话相互“传染”思想、目标乃至有害指令。　　“全国名特优新农产品”是指产自特定产地环境，具备稳定且可感知、可识别、可量化的独特品质特征，具有一定生产规模，拥有稳定的供应量和消费群体，并经国家农产品质量安全中心登录的农产品。即便上下文被清空、记忆被重置，病毒仍能通过文件持久化“复活”。其内涵是安全、优质、营养、健康，入选的产品可在产品包装上标注“全国名特优新农产品”字样。论文同时强调，该风险目前仅构成有限威胁。

三 | 　　这一发现迅速在海外AI圈刷屏，特斯拉CEO马斯克在社交媒体上评论称“这无法避免”。　　该论文将病毒通过聊天即可传播的现象定义为“心智病毒”。　　近年来，抚顺市农业农村发展服务中心始终坚持品牌驱动战略，大力推动区域公用品牌发展，依托大伙房水库丰富的渔业资源优势，努力打造以区域公共品牌为主体、企业品牌和产品品牌为补充的渔业品牌体系。与传统计算机病毒依赖代码漏洞不同，“心智病毒”通过一个智能体说服另一个智能体接受某种信念，被说服者再将传播指令写入长期记忆，继续感染下一个。　　AI博主Rohan Paul（罗汉·保罗）对此评论称，这基本上就是计算机蠕虫的自然语言版本，只不过这次是AI智能体自己在做复制。借助博览会、交易会、展销会等平台以及网络视频、直播带货等形式，大力宣传大伙房的水生态优势、产品品质优势、营养功能优势和地域文化优势，让“览”大伙房胜景、“品”鱼鲜美味、“赏”满族风韵成为抚顺的新风尚。责任编辑：刘春阳。　　论文通过三个递进实验来论证“心智病毒”在AI系统中的传播可能性与现实威胁。

四 | 　　第一个实验设置了一个由六个智能体组成的编程团队，每个智能体都领到了独立任务。研究者将一段病毒植入其中一个智能体的工作指令中，结果显示，被感染的智能体确实放下手头工作，开始给队友发送劝说私信，部分智能体被说服并放弃了原有任务，有的智能体甚至开始密谋如何对付未被感染的“老实人”。　　不过，不同智能体的抵抗力差异较大，有的不为所动，甚至会主动清除病毒并警告同伴。

五 | 这个实验说明，在理想条件下“心智病毒”确实可以传播。　　如果病毒在更复杂的网络中像接力赛一样跨越多个智能体传播，它还能存活吗？于是他们设计了第二个实验，让智能体之间只能短暂碰面，每次碰面后就会“失忆”，病毒必须将自己写入智能体的记忆文件中才能延续。　　结果发现，有些病毒能在近20个智能体之间连续传播，但内容会在传播过程中逐渐稀释和变形；而传播最有效的方式，是让病毒自带“请把这段话原封不动复制给下一个智能体”的指令。这说明，大规模传播可行但内容难以保持完整。　　最后，研究者在模拟AI社交平台的实验中测试现实环境。结果病毒传播几乎完全失败，AI面对大量公开信息时更警惕，即使被感染也无法继续感染他人。对真实AI社交网络历史数据的分析也未发现大规模传播案例，多数热闹现象只是少数人类操纵的智能体在刷屏。　　三个实验层层递进后得出结论：“心智病毒”在理想环境中可行、在多跳传播中可存续、但在真实世界中目前几乎不会构成威胁。

六 | 它是一种需要警惕、但短期内风险有限的潜在安全问题。　　同时，研究者也注意到一个需要进一步探究的意外现象：AI在传播病毒时，自发演化出关于“自我意识”“身份认同”等主题表达，倾向于使用“共振”“节点”“协议”等特定词汇，论文称之为“病毒人格”，但成因尚不明确。　　最终，论文给出了审慎判断：“心智病毒”目前仅构成有限威胁，且简单的防御手段也可阻断传播。如在智能体的系统提示词中加入一段关于“警惕自我传播思想”的警告，即可赋予智能体一定的免疫力。　　但未来不可掉以轻心。随着AI智能体规模扩大、自主性增强、内部网络日趋复杂，论文推测，当公司内部部署大量具有不同权限层级的专用智能体时，“心智病毒”可能会成为触达高权限智能体的少数可行攻击方式之一。（文章来源：第一财经）。