纽约大学研究团队发现,大规模语言模型(LLM)在数据训练中易受虚假信息影响。即使虚假信息仅占训练数据的0.001%,也可能导致模型出现重大错误,尤其在医疗领域,错误信息可能危及患者安全。研究团队通过向训练数据集“The Pile”中加入AI生成的医疗虚假文章进行实验,发现替换0.001%的内容即可导致有害内容增加4.8%,且成本极低。
此外,研究团队指出,已有AI医疗平台在自动回复患者问题时生成错误信息,给患者带来困扰。因此,他们呼吁AI开发者和医疗提供者在开发医疗LLM时,应认识到这一脆弱性,并在确保安全性之前,避免将LLM用于诊断或治疗等关键任务。