人工智能为何会产生幻觉？
在科幻电影中，人工智能常被塑造成全知全能的“超级大脑”，但现实中，AI却时常表现为“自信的谎言家”。比如，请AI描述“关公战秦琼”，它不仅能“叙述”虚构的故事情节，还会“猜测”用户喜好，煞有介事地编造不存在的文献档案。这种现象被称为“AI幻觉”，已经成为困扰许多人工智能企业和使用者的现实难题。
AI为什么会一本正经地胡说八道？根源在于其思维方式与人类存在本质不同。今天人们日常使用和接触最多的AI大模型本质上是一个庞大的语言概率预测和生成模型。它通过分析互联网上数以万亿计的文本，学习词语之间的关联规律，再像玩猜词游戏一样，逐字逐句生成看似合理的回答。这种机制使AI擅于模仿人类的语言风格，但有时缺乏辨别真伪的能力。
AI幻觉的产生与大模型训练的过程密不可分。AI的知识体系基本来源于训练时“吞下”的数据源。来自互联网的各类信息鱼龙混杂，其中不乏虚假信息、虚构故事和偏见性观点。这些信息一旦成为AI训练的数据源，就会出现数据源污染。当某个领域专业数据不足时，AI便可能通过模糊性的统计规律来“填补空白”。比如，将科幻小说中的“黑科技”描述为真实存在的技术。在AI被越来越多地用于信息生产的背景下，AI生成的海量虚构内容和错误信息正在进入训练下一代AI的内容池，这种“套娃”生态将进一步加剧AI幻觉的产生。
在大模型训练过程中，为了使AI生成满足用户需求的内容，训练者会设置一定的奖励机制——对于数学题等需要逻辑推理的问题，往往通过确认答案的正确与否给予奖励；对于写作等开放式命题，则需要判断其生成的内容是否符合人类写作习惯。为了训练效率，这种判断更多关注AI语言的逻辑性和内容格式等指标，却忽略了事实的核查。
此外，训练过程的缺陷也会导致AI存在“讨好”用户的倾向，明知道答案不符合事实，也愿意遵照指令生成迎合用户的内容，并编造一些虚假的例证或看似科学的术语来支撑自己的“假说”。这种“角色扮演式”的表达让许多普通用户难以分辨AI幻觉。上海交通大学媒体与传播学院进行的一项全国抽样调查显示，约七成受访者对大模型生成虚假或错误信息的风险缺乏清晰认知。
如何破解AI幻觉？开发者尝试通过技术手段为AI“纠偏”。比如“检索增强生成”技术，这意味着AI在回答前需要从最新的数据库检索相关信息，降低“信口开河”概率；一些模型被要求在不确定答案时主动承认“不知道”，而非强行编造答案。不过，由于目前的AI无法像人类那样理解语言背后的真实世界，因此这些方法难以从根本上解决AI幻觉问题。
应对AI幻觉，不仅需要技术规制，也需要从公民AI素养普及、平台责任、公共传播等维度构建系统性的“幻觉免疫力”。AI素养不仅包含使用AI的基本技能，更重要的是对AI幻觉要有基本的认知能力。明确技术平台的责任边界同样重要，AI产品在设计时就应嵌入风险提示机制，自动标记“可能存在事实性错误”等警示内容，并提供方便用户进行事实核查和交叉验证的功能。媒体可以通过定期发布AI伪造事实的典型案例，进一步培养公众的识别能力。通过多方联手，智能时代的认知迷雾才能被真正破除。
人工智能产生的幻觉问题真的能被看作是创造力的另一种表现形式吗?
OpenAI的首席执行官山姆·奥特曼（Sam Altman）曾声称，人工智能产生的“幻觉”其实未尝不是一件好事，因为实际上GPT的优势正在于其非凡的创造力。
人工智能的幻觉问题是指其在没有充分训练数据支持的情况下自信地做出的响应。这种响应可能是由于数据不完备、存在偏见或过于专业化等因素导致的。以下是详细介绍：
：指AI大模型生成的内容与其输入内容之间存在矛盾，即生成的回答与提供的信息不一致。这种错误往往可以通过核对输入内容和生成内容来相对容易地发现和纠正。 ：指的是生成内容的错误性无法从输入内容中直接验证。这种错误通常涉及模型调用了输入内容之外的数据、文本或信息，从而导致生成的内容产生虚假陈述。外在幻觉难以被轻易识别，因为虽然生成的内容可能是虚假的，但模型可以以逻辑连贯、有条理的方式呈现，使人们很难怀疑其真实性。 就比如我想AI提问,刘翔在那一年获得了乒乓球冠军?它可能会回答2004年,但实际上刘翔并没有获得过乒乓球赛的冠军,而AI的这种自信来源于它不会对提问者的假设条件进行判断,它认为你给出它的前提条件是正确的,从而基于这种情况结合自身所掌握的数据捏造出一个有悖于事实的答案
当人们说GPT致幻时，他们指的就是这种对事实的篡改。但是幻觉这一概念也暗示着，GPT在别的时候可以准确地描述事实。不幸的是，这加剧了人们对大型语言模型工作原理的误解，而这种误解往往会在一项技术变得安全或危险时产生区别。我们倒不如说GPT的所作所为统统应归于“幻觉”范畴，因为这些模型中根本不存在“非幻觉”状态（即根据某种外部感知来检查某事物的有效性）。在它们的世界里，答案不分对错，目标也没有意图。
研究人员将AI幻觉归因于高维统计现象和训练数据不足等因素。一些人认为，被归类为“幻觉”的特定“不正确”的AI反应可能由训练数据证明是合理的。然而，其他人对这些发现提出了质疑，并认为人工智能模型可能偏向于肤浅的统计数据，导致在现实世界场景中做出不可靠的反应。
在自然语言处理中，幻觉通常被定义为“生成的内容，这些内容与提供的源内容无关或不忠实”。文本和表示之间的编码和解码错误会导致幻觉。产生不同反应的人工智能训练也可能导致幻觉。较大的数据集可能会产生参数知识问题，如果系统对其硬连线知识过于自信，则会产生幻觉。
人工智能为何会产生幻觉（唠“科”）
在科幻电影中，人工智能常被塑造成全知全能的“超级大脑”，但现实中，AI却时常表现为“自信的谎言家”。比如，请AI描述“关公战秦琼”，它不仅能“叙述”虚构的故事情节，还会“猜测”用户喜好，煞有介事地编造不存在的文献档案。这种现象被称为“AI幻觉”，已经成为困扰许多
AI为什么会一本正经地胡说八道？根源在于其思维方式与人类存在本质不同。今天人们日常使用和接触最多的AI大模型本质上是一个庞大的语言概率预测和生成模型。它通过分析互联网上数以万亿计的文本，学习词语之间的关联规律，再像玩猜词游戏一样，逐字逐句生成看似合理的回答。这种机制使AI擅于模仿人类的语言风格，但有时缺乏辨别真伪的能力。
AI幻觉的产生与大模型训练的过程密不可分。AI的知识体系基本来源于训练时“吞下”的数据源。来自互联网的各类信息鱼龙混杂，其中不乏虚假信息、虚构故事和偏见性观点。这些信息一旦成为AI训练的，就会出现数据源污染。当某个领域专业数据不足时，AI便可能通过模糊性的统计规律来“填补空白”。比如，将科幻小说中的“黑科技”描述为真实存在的技术。在AI被越来越多地用于信息生产的背景下，AI生成的海量虚构内容和错误信息正在进入训练下一代AI的内容池，这种“套娃”生态将进一步加剧AI幻觉的产生。
在大模型训练过程中，为了使AI生成满足用户需求的内容，训练者会设置一定的奖励机制——对于数学题等需要的问题，往往通过确认答案的正确与否给予奖励；对于写作等开放式命题，则需要判断其生成的内容是否符合人类写作习惯。为了训练效率，这种判断更多关注AI语言的逻辑性和内容格式等指标，却忽略了事实的核查。
此外，训练过程的缺陷也会导致AI存在“讨好”用户的倾向，明知道答案不符合事实，也愿意遵照指令生成迎合用户的内容，并编造一些虚假的例证或看似科学的术语来支撑自己的“假说”。这种“角色扮演式”的表达让许多普通用户难以分辨AI幻觉。上海交通大学媒体与传播学院进行的一项全国抽样调查显示，约七成受访者对大模型生成虚假或错误信息的风险缺乏清晰认知。
如何破解AI幻觉？开发者尝试通过技术手段为AI“纠偏”。比如“检索增强生成”技术，这意味着AI在回答前需要从最新的数据库检索相关信息，降低“信口开河”概率；一些模型被要求在不确定答案时主动承认“不知道”，而非强行编造答案。不过，由于目前的AI无法像人类那样理解语言背后的，因此这些方法难以从根本上解决AI幻觉问题。
应对AI幻觉，不仅需要技术规制，也需要从公民AI素养普及、平台责任、公共传播等维度构建系统性的“幻觉免疫力”。AI素养不仅包含使用AI的基本技能，更重要的是对AI幻觉要有基本的认知能力。明确技术平台的责任边界同样重要，AI产品在设计时就应嵌入风险提示机制，自动标记“可能存在事实性错误”等警示内容，并提供方便用户进行事实核查和交叉验证的功能。媒体可以通过定期发布AI伪造事实的典型案例，进一步培养公众的识别能力。通过多方联手，智能时代的认知迷雾才能被真正破除。
(作者为上海交通大学媒体与传播学院特聘教授，本报记者黄晓慧采访整理)
《 人民日报 》( 2025年06月21日 06 版)
