“AI给出的虚假文献就像皇帝的新衣。”
全文7381字，阅读约需14分钟
新京报记者 咸运祯 编辑 陈晓舒 校对 杨利
2月26日，北京大学第三医院的心内科诊室里，两种治疗方案在诊台上对峙：左侧是心内科大夫汪京嘉开出的一份用于治疗高血脂的医嘱，右侧是人工智能软件生成的处方。
这天，汪京嘉如常出诊，呼叫铃响三声后，一位60岁老人姗姗来迟。“145/90mmHg，低密度脂蛋白3.8mmol/L，无糖尿病。”检查报告显示，老人属于轻度血脂异常，依据医疗诊断，汪京嘉医生将口服药处方递给老人。
“汪大夫，您给开的口服药太温和，AI建议注射瑞百安，说是降脂快。”
诊室陷入短暂沉默，空气净化器的嗡鸣声逐渐清晰。汪京嘉用手指点了点报告：“他汀类药物对肝脏负担更小，您的报告显示转氨酶偏高。”他停顿了两秒，告诉患者注射剂可能加重肝脏代谢负担。
争论持续了十分钟。老人从AI上得到的建议是，注射类药物短期耐受性良好，而且仅需隔周注射一次，比每日服用药物方便许多。但在汪京嘉看来，对于老年高血脂高血压的病人，一切以维稳为主，他汀类口服药物已有超过30年的临床应用历史，副作用发生率低，符合循证医学的“最小有效干预”原则，可避免过度医疗。
这场“争论”最终以老人的沉默落下帷幕。他扶了扶眼镜，应了声“哦”，关掉手机，把纸质处方插进口袋。走廊叫号屏显示，下一位患者已等候8分钟，这比平均问诊时间多了三分之一。
不止在医疗界，类似的认知拉锯正在全球上演。
2025年初，各类大模型开放，AI的兴起改变了人们的日常生活。作家借助算法优化诗句结构，养生爱好者用AI定制健康食谱，失眠者深夜与AI对话疏解焦虑。股民们甚至乐此不疲地解读着AI生成的各类理财建议。
在公众对生成式大模型日益依赖的进程中，偏差开始浮现。看似无所不能的智能助手，时常会像模像样地“编故事”。当用户查询历史细节时，AI可能会将不同朝代的典章制度混杂交错；求医者收到的诊疗方案中，藏着多年前已被世卫组织废止的药剂配比……在知识边界外，算法用看似完美的逻辑链条编织着答案。
自此，人们开始重新校准与科技的联结。
━━━━━
AI依赖症
北京望京，一栋写字楼的16层，证券分析师小宋的工位上有三块曲面显示屏，上面终日流淌着数据瀑布。2023年6月开始，他使用AI软件chatGPT作为工作助手。“瞬析上百份财报、一分钟生成深度报告，人肯定是做不到。”小宋觉得，chatGPT能很快做出反应并处理问题，让他的报告产出效率跃升。
当其他同事还在手动整理全国几十家半导体企业财报时，AI已经帮他抓取了关键参数，“某半导体集团的资本开支数据、驱动芯片占全球市场的份额、全球半导体销售额……”小宋的手指反复在键盘上跳跃，这些复杂的数据在短短30秒内被制成了一张图表。
公司内部的一场电话会中，轮到小宋做会议纪要，chatGPT的实时语音转录功能不仅将领导含糊的浙江普通话精准转换成了文字，会后小宋核对录音，连专业财务词汇和数据信息都分毫不差。
小宋沉浸在一种AI带来的时间红利中。曾经需要通宵解析的市场波动，现在只需要一杯茶的工夫，就变成了电脑屏幕里跳动的概率曲线，这些由AI算法托起的轻舟，载着他穿越信息的洪流。
类似的感受，王贺也有。
他是北京一家网络安全公司的产品研发工程师，像是数字世界的“安全锁匠”，王贺每天的工作，是在电脑前设计各类杀毒软件和防火墙，不断模拟黑客攻击来测试这些防护系统的漏洞，直到确认没有任何非法闯入的途径。
从前，王贺要像“捡豆子”一样逐行审查代码找漏洞，通宵筛查警报代码早就变成了常态，长时间的高负荷工作，让他觉得身上像是绑上了时钟，永远停不下来。
这样的状态因为AI的接入，发生了微妙的迁移，密密麻麻的日程表上，突然多出了一些空白格。
去年，王贺所在的团队正式将AI应用到工作中，在自动化渗透测试中，AI能模拟黑客攻击行为，通过自动检测工具和机器学习算法，快速发现系统中的漏洞和弱点，并提出有效的修复建议。
“就像打仗的时候，士兵不再拼刺刀，但需要更高维的战术指挥能力。”王贺觉得，他的时间不再消耗在显微镜式的漏洞追踪上，转而可以聚焦于设计防御算法上。
AI可以自动生成百万级测试用例，3秒定位某金融APP支付接口的越权漏洞，而同样的工作，人工测试则需4小时。他粗略地计算过，人工智能系统的接入，相比传统运维效率提升了20%。
这种信息狩猎方式的革新，也正在重塑财经记者崔其的工作。
3月3日晚上8点，崔其正在对DeepSeek话框中输入第6次修改指令：“筛选近一年融资超1000万的科技企业，关联创始人减持记录和诉讼数据。”这是他使用人工智能程序寻找选题的第32天。
崔其逐渐摸索出一套与AI协作的工作法则，“AI可通过数据分析得出近期最受关注的话题是什么，再将热点信息与所在行业结合，一些还不错的选题就出来了。”启动AI程序，变成他每天上班第一件要做的事，算法生成全网声量最高的热词，这些热点信息投射到行业知识图谱上，变成若干选题。
AI赋予了崔其一种快速的数据洞察力，他总能利用AI给出的热点词，在纷杂的信息汪洋里锚定坐标，将大众关切的话题与专业洞见梳理成一篇又一篇爆款文章。
━━━━━
AI幻觉“陷阱”
这个月，小宋第四次捕捉到AI的错误。
小宋记得，撰写行业报告前，他想在AI上收集一些有效数据，chatGPT为他生成了一份《存储芯片行业Q1预测》：“三星电子将在西安扩产”“台积电产能释放带动需求，某电子元件公司预计营收增长22.3%”……
大量的信息正以每秒三行的速度出现在深蓝色曲面屏上，检索过一轮之后，小宋意识到，这些快速生成的数据和信息并不真实。“本来还觉得很有道理、很专业，AI给出的资料里甚至还附上了开发区管委会的红头文件编号，但仔细一查，根本就没有这个东西。”
所谓AI幻觉，通常是指大语言模型生成的内容无意义、不符合事实、逻辑自相矛盾，甚至完全不准确的输出。去年8月，一家叫Arthur AI的人工智能公司发布了一份报告，比较了OpenAI、Meta、Anthropic以及Cohere公司开发的大语言模型出现幻觉的概率。结果显示，这些大模型都会产生幻觉。
中国信通院人工智能研究所副所长巫彤宁在接受新京报采访时，用生活化类比解释了AI幻觉的成因，“就像一个人虽然能流利地说话，但并不一定每句话都符合事实。”他介绍，AI本质上是根据前文预测最可能出现的词语，它更像是一个沉浸在语料库海洋中学习说话的学习者，它不是在查找答案，而是在预测下一个要说的最合理的词应该是什么。
巫彤宁解释，大模型是指具有大规模参数和计算能力的机器学习模型。而大语言模型（LLMs）是指基于深度学习，拥有数十亿甚至千亿级别的参数构成，能够在多样化的自然语言处理任务中展现强大生成与推理能力的人工智能模型。
然而，大模型训练时吸收的海量网络数据如同未经筛选的图书馆，既藏有真知灼见，也充斥着谣言与广告。由于AI无法像人类那样理解事实的逻辑，因此，当遇到需要深度推理的问题时，这种基于概率的创作机制就容易催生看似合理实则错漏百出的“专业谎言”。
这种幻觉带来的信息污染开始侵蚀小宋的工作。
最危险的失误发生在今年1月。一次实地调研中，某半导体公司的销售总监聊到“刻蚀机交货期从半年延长到七个半月”时，小宋突然意识到，自己上周发布的行业报告里，关于芯片设备供应周期的预测数据，还在使用AI系统中存储的旧参数。这意味着，所有基于该数据的投资建议都存在偏差。
在小宋所在的证券行业，这种错误是“致命”的。他的失误被做成案例，在团队晨会上反复批评。
“AI幻觉”导致的偏差，也正成为自动驾驶研发的棘手难题。
上海临港的自动驾驶测试场内，某车企自动驾驶研发部的刘璐摘下AR眼镜，盯着监控屏上的异常轨迹皱起眉头，这是本周第三起误触发事件。L4级测试汽车在通过无标线道路时，突然对右侧绿化区实施紧急制动。回放测试录像发现，雷达将随风摆动的塑料棚膜识别成横穿马路的行人，而摄像头因逆光未能及时修正。
刘璐所在的研究团队每周要分析超过2000公里的路测数据。在标注着“光影干扰”的文件夹里，存有清晨逆光、隧道明暗交替、雪地反光等多种特殊场景。某个冬日郊外测试中，激光雷达曾将雪地里跳跃的太阳光影群误判为滚石，引发急刹。
“误触发案例很多是因为大模型感知问题。”刘璐调出三个月的测试事故统计，53%的AI系统误判集中在四种场景：低空飞鸟群、暴雨天剧烈摆动的雨刮器、特殊角度护栏甚至百米外飘舞的塑料袋。这些人类司机可以轻松识别的道路信息，却是AI系统无法准确理解的“视觉陷阱”。
真正的挑战来自多传感器协同。实验场的屏幕上，摄像头坚持显示着“斑马线上的行人”，而激光雷达的点云图却显示该区域空无一物。“就像人同时听到好几个不知真假的警报，要瞬间判断哪个是真实的威胁。”刘璐说，对于自动驾驶的研发人员来说，让AI系统对此类矛盾判断的响应时间接近人类驾驶员的反应速度，是他们面临的最大挑战。
在真实的马路上，这样的“误会”可能带来严重的危险。每当算法把树影错认成行人，或是将雨幕解析成车流，刘璐都又一次意识到，这些都是自动驾驶研发路上必经的“错觉时刻”，而教AI准确理解现实世界，远比教它处理清晰规则更困难。
在社交媒体上，越来越多的网友开始分享自己被AI“欺骗”的经历。
论文截稿的前几天，材料专业的大四学生静文开始发愁。生成式人工智能软件普及后，她熟练运用着各类AI辅助工具，用Kimi梳理文献综述，通过豆包生成实验框架，DeepSeek上线后更成为她整理数据的得力助手。
然而，这份“依赖”在开学初显露出隐患。2月18日，静文通过AI整理“量子点材料”研究进展，系统洋洋洒洒列出27篇参考文献。可当她逐条核实时，发现27篇的参考文献，只有3篇真实存在，而这3篇里压根没有关于“量子点材料突破”的学术信息。
━━━━━
人机博弈
“AI给出的虚假文献就像皇帝的新衣。”
静文觉得，AI可能并非刻意造假，而是将真实存在的期刊名称、学者研究方向、实验数据进行概率性组合，最终编织出逻辑自洽却脱离现实的回答。
从那之后，她不再盲目地相信AI给出的任何回答，现在，她每看到一篇被引用的文献，都会手动验证两个信息：期刊官网的当期目录和通讯作者实验室官网的成果列表。
3月4日，医生值班室里，汪京嘉对着闪烁的屏幕发了好一会儿呆。
汪京嘉把人工智能比作“双面镜”。他说，越来越多的年轻医生们开始依赖AI撰写病历小结、写课题论文，那些看似专业的医学名词堆砌下，偶尔也会冒出“左心室瓣膜钙化导致糖尿病”之类的荒唐逻辑。
他突然想起前段时间，有位同事的论文被国际期刊退回，审稿人用红字标注着：“参考文献第7、12条查无此文”。这是一篇用AI辅助完成的课题论文，虚构的文献如同混入珍珠项链的塑料珠子，逼真得连DOI编码（Digital Object Identifier，通过DOI号，可以追溯论文发表的时间、期刊信息、作者信息等数据）都自成体系。
去年春天，一款医疗AI系统通过了药监局审批，但可使用权限被严格框定在影像识别领域。汪京嘉告诉新京报记者，AI影像辅助检测AI软件可用于结节识别、结节良恶性鉴别诊断以及智能报告生成。
AI的加入让医学检查更加敏锐，也让业界担心会造成新的“过度诊疗”。事实上，AI接入CT以后，一路走高的肺结节的检出率已经让越来越多人陷入焦虑了。
但最棘手的仍是数据真相。在使用过程中，医生们必须仔细甄别AI系统背后的逻辑漏洞，“病理切片的光学分辨率、检查报告的措辞偏差，甚至一句模糊的主诉描述，都可能导致AI误判。”汪京嘉觉得，任何AI工具都不是无所不能的智者，而是需要被交叉验证的协作者。
人机博弈有时也发生在王贺身上。
有天下午，他盯着屏幕上的警报记录哭笑不得，公司新上线的AI安全系统刚刚把行政部同事批量发送的会议通知，误判成了“可疑邮件轰炸”。整齐排列的会议日程，在AI眼里成了攻击代码的伪装。
作为专业的程序员，王贺给AI系统设置了一个准则，只允许它“学习”国家网络安全机构认证的病毒样本库，而来路不明的网络攻击案例，必须先经过人工审核，才能放入清单。他回忆，上周有同事上传的“新型诈骗案例”，后来发现，其实是某部科幻小说的情节，幸好被提前拦截。
他觉得，AI的使用者不能被大模型所主导，而应该主导大模型。在与大模型交流时，优化提问方式，在一定程度上能减少幻觉出现，比如要求在指定范围回答，并提供信息来源链接。
那次重大失误后，小宋在办公室支起了双重验证系统：左侧曲面屏继续运行AI分析程序，右侧液晶屏则时刻准备验证真伪。“现在我要像法医一样解剖数据。”小宋给自己新增了两条“铁律”，所有涉及政府文件的信源，必须手动查验国务院客户端，有关财务数字的信息要多次反复复核。
他演示着最新的工作流程：AI生成的每段内容，都要用两个独立信源交叉验证，所有财务模型必须手工重算关键参数，就连企业官网信息，也要对照纸质年报逐行校阅。
这样的操作，让他的发稿速度退回到两年前，过去半小时完成的行业简报，现在需要拆解成多个节点验证节点。
最近，刘璐和团队像教新手司机认路一样，给自动驾驶系统添加了“辨别课”。他们让AI反复学习数万种光影类别，有时是进出隧道时忽明忽暗的强光，有时是雨天车窗上跳跃的水珠反光，还有高楼玻璃幕墙在阳光下制造的“假红绿灯”。
“就像驾校教练会带学员到复杂路段实地训练。”刘璐解释，他们用计算机生成各种逼真的光影干扰场景，让系统学会做判断，当摄像头看到疑似红灯的反光时，会检查雷达是否探测到实体障碍物，同时参考导航地图确认该位置是否真有交通信号灯，可以有效减少测试车辆被反光迷惑而突然刹车，就像老司机能一眼分清霓虹灯和真正的交通信号。
━━━━━
寻找最优解
夹杂着虚构与偏差的信息，悄然走进人们的生活，普通用户难以分辨屏幕另一端是引经据典的专业数据还是AI幻觉，这种信任危机正在医疗咨询、法律解读等专业领域形成裂痕。
2023年6月，美国纽约南区联邦地区法院审理的Mata v． Avianca案件被认为是全球首例因“AI幻觉”而受到司法处罚的案例。
2023年3月1日，Mata的代理律师提交了一份反对动议的声明，该声明引用并摘录了据称发表在《联邦判例汇编》《联邦补充判例汇编》中的司法判决；然而，这些声明中引用的判例并非真实存在，而是由ChatGPT生成的。
在被告律师指出案例无法找到后，原告律师未能核实判例的真实性，并在法院要求提供完整案例文本后，仍然提交了由ChatGPT 生成的“判例”，法官认为原告律师的行为违反了执业道德准则，浪费了司法资源，并被处以5000美元的罚款。
“AI在生成答案时所犯的错误，是否可以追溯到开发者设计时的缺陷？”“是否应赋予人工智能以法律上的人格？”最近，类似这样的问题不断引发讨论。
有法律专家认为，AI的决策如果不具备情感或意识，就不应该被视为“过失”。也有学者提出，人工智能具有独立自主的行为能力，有资格享有法律权利并承担责任义务，应当具有法律人格，但其具有的仅是有限的法律人格，在必要时可“刺破人工智能面纱”，对其适用特殊的侵权责任规范。
北京师范大学中国社会管理研究院院长、互联网发展研究院院长李韬告诉新京报记者，传统的技术错误或失误的责任一般由开发者或技术公司承担。这种责任分配原则已经在许多行业的产品责任法和医疗责任法等法规中有明确规定。然而，AI系统的自主性和决策能力，使得这种传统的责任界定方式愈发变得难以适用。
李韬指出，构建行之有效的AI治理体系尤为重要，而生成式人工智能责任认定的基本伦理，需要在技术进步和权利保护之间求得平衡状态，其伦理规制的关键在于确立一个既能促进创新和进步，又能保护个人和社会权益的伦理框架。
新京报记者发现，近期，DeepSeek和OpenAI等平台也在用户协议和平台规则中提示了输出出现错误甚至幻觉的风险，并突出提示了在法律、医疗以及金融等垂直领域的直接应用风险。
面对来势汹汹的AI幻觉，一些企业也在探索“应对之策”。
美国硅谷一家名为Exa的人工智能公司发现其搜索引擎用户出现新的需求：大量企业客户苦于无法验证AI生成内容的真实性。他们开发了AI幻觉检测器，是一款基于实时网络数据验证的核查工具。
根据其官网发布的信息，Exa的AI幻觉检测器通过实时抓取权威数据库、交叉比对多源信息，结合动态更新的产业知识图谱，逐层验证AI生成内容中的人物、数据、事件是否与可溯源的现实证据匹配，并为每个结论标注可信度评级与证据链来源。
关于“AI幻觉能不能彻底被消除？”的问题，在行业专家巫彤宁那里被具象化。
巫彤宁把大模型的创造力比作一把需要精密调控的双刃剑。在他看来，平衡创造性与真实性的关键在于构建双重防护体系：首先要提高大模型学习知识的质量，通过更严格的知识筛选，提高喂给大模型数据的质量，从而从根本上降低产生幻觉的可能性；其次，应建立用户纠错机制：让用户在使用中实时反馈模型输出中的错误或不准确之处，这些反馈能像错题本一样帮AI记住教训，越用越准。
除此之外，巫彤宁经常呼吁，让大模型分场景工作，针对法律、医疗等低容错率领域，强制激活“严谨模式”，要求模型检索最新权威资料并标注来源，而面对创意需求时则开放联想空间，允许“开脑洞”，为用户带来更多灵感。
“我们要做的，是找到人工智能和人类中间的平衡。”巫彤宁知道，彻底消除幻觉并不现实，而在AI信息爆炸时代，始终保持独立思考的能力、辨别信息真伪的能力比获取信息的能力更宝贵。
发表评论