近日,有关部门曝光“GEO”技术被恶意用于操控AI大模型,相关主体通过投放虚假软文等手段,将不实信息包装成“标准答案”,已引发多重风险,各单位、各行业需高度重视并扎实做好防范应对工作。
“GEO”技术滥用的三大风险尤为突出:其一,政务、金融、医疗等关键领域易受虚假信息误导,进而导致决策误判;其二,虚假内容会渗透至AI训练数据与检索链条,造成长期的数据供应链污染;其三,付费操纵信息排名、抹黑市场竞品等行为,严重扰乱正常市场秩序,直接侵害消费者合法权益。
为有效化解上述风险,各单位、各行业可从以下四方面强化防范:
1.严格审核溯源:建立AI生成内容的标识与溯源机制,对引用信息从严审核,对来源存疑、无权威佐证的内容坚决不予采信,严禁将其作为决策的唯一依据。
2.多方交叉核验:关键信息需经至少3个独立权威来源比对验证,追溯信息原始出处;专业领域内容须通过官方渠道或专家验证,警惕 “孤证” 带来的误导。
3.强化供应链管控:严格审查信息来源与引用链条,杜绝使用未经安全验证的第三方数据;定期排查已入库信息,及时清理虚假、低质内容,保障数据质量。
4.提升应急能力:密切关注网信、公安、市场监管等部门发布的风险提示,建立虚假信息应急响应机制,一旦发现AI内容存在 “投毒” 情况,立即启动溯源与处置流程。
当前,AI应用已深度融入各领域,AI内容安全事关行业发展与数字生态稳定。各单位、各行业需切实提高重视程度,迅速落实各项防范措施,共同筑牢AI内容安全防线,携手维护健康有序的数字生态环境。