为什么说大模型会有「幻觉」问题，又如何去解决呢

，由 DeepSeek-R1 满血版支持，

大家好，我是全栈小5，欢迎阅读文章！ 此篇是【话题达人】序列文章，这一次的话题是《如何解决大模型的幻觉问题》

先来了解基本术语和缩写全称，比如LLM。

LLM是Large Language Model的缩写，指的是一种，可以用来为许多自然语言处理(Natural Language Processing)任务提供先验知识。

大模型的LLM是指具有大量参数和计算能力，可以处理大规模数据集的语言模型。

最近，像GPT-3、T5等大规模的预训练语言模型已被广泛研究和应用，可以用于NLP领域的文本生成、QA、文本分类等任务。

我们这里用了一个幻觉的词，实际上就是LLM输出的内容不准确或者误导人的意思，模型还会自己乱编一些代码和不存在的类库，让人雨里雾里的。 所以，要了解大模型出现幻觉问题，我觉得应该要从大模型本什么训练原则以及本身特点分析。

在预训练阶段，大模型使用一个庞大的文本数据集进行自我监督学习。 此过程中，模型通过尝试预测一段文本的下一个词或通过掩码预测被隐藏的词来学习语言的统计规律和语义关系。

从上面一段话我们可以挑出几个关键点【庞大文本数据集】【统计规律】【语义关系】

也就是说，如果数据集量不足，那么可能是会影响到最终输出的结果，这样在众多用户者在使用过程中就会出现个别答案有偏差。 我个人觉得数据集，也许在庞大数据集基础上，可能也要对数据进行质量上提升，这样输出的结果质量也同样会有所提升。如何解决质量问题，也许人工干预是要的。

语义关系是指词语、短语或句子之间的语义联系或关联。 它涉及到词义、上下文和逻辑等方面，用于描述词与词、短语与短语、句子与句子之间的意义关系。

以下是几个常见的语义关系的例子：

指两个词或短语具有相同或相近的意义。例如，“大"和"巨大”、"去"和"离开"之间存在同义关系。

指两个词或短语具有相反的意义。例如，“黑"和"白”、"高"和"矮"之间存在反义关系。

指两个词或短语之间的层次关系，其中一个词或短语是另一个的更具体或更一般的概念。例如，"狗"是"动物"的一种，"苹果"是"水果"的一种。

指两个词或短语在语义上相互平行，表示同一类别或属于同一范畴。例如，"猫"和"狗"之间存在同位关系。

指两个词或短语之间表示部分和整体之间的关系。例如，"轮胎"和"汽车"之间存在部分-整体关系。

对预先训练好的模型进行进一步训练的过程，以提高其在特定任务上的表现。

在上面概念基础可以知道两个关键信息【特定任务】【少量标签数据】

文本分类、命名实体识别、语义角色标注、机器翻译等

人工标注的情感分析数据、互联网上的文本数据、包括带有正向或负向情感标签的文本

个人认为，如何有效解决，还是需要有一个分布式加集中式数据，开放更多源码和社区，集大家之所能。

总结：大模型出现的幻觉，我觉得不可避免，如何解决我觉得仍然离不开训练，不断加强和深度学习，出现错误的概率会越来越少，大模型训练通过人工干预微调，可以想象成它就是一个孩子需要不断有人教它和自我学习。

人工智能为何会产生幻觉？

原标题：人工智能为何会产生幻觉（唠“科”）

在科幻电影中，人工智能常被塑造成全知全能的“超级大脑”，但现实中，AI却时常表现为“自信的谎言家”。比如，请AI描述“关公战秦琼”，它不仅能“叙述”虚构的故事情节，还会“猜测”用户喜好，煞有介事地编造不存在的文献档案。这种现象被称为“AI幻觉”，已经成为困扰许多人工智能企业和使用者的现实难题。

AI为什么会一本正经地胡说八道？根源在于其思维方式与人类存在本质不同。今天人们日常使用和接触最多的AI大模型本质上是一个庞大的语言概率预测和生成模型。它通过分析互联网上数以万亿计的文本，学习词语之间的关联规律，再像玩猜词游戏一样，逐字逐句生成看似合理的回答。这种机制使AI擅于模仿人类的语言风格，但有时缺乏辨别真伪的能力。

AI幻觉的产生与大模型训练的过程密不可分。AI的知识体系基本来源于训练时“吞下”的数据源。来自互联网的各类信息鱼龙混杂，其中不乏虚假信息、虚构故事和偏见性观点。这些信息一旦成为AI训练的数据源，就会出现数据源污染。当某个领域专业数据不足时，AI便可能通过模糊性的统计规律来“填补空白”。比如，将科幻小说中的“黑科技”描述为真实存在的技术。在AI被越来越多地用于信息生产的背景下，AI生成的海量虚构内容和错误信息正在进入训练下一代AI的内容池，这种“套娃”生态将进一步加剧AI幻觉的产生。

在大模型训练过程中，为了使AI生成满足用户需求的内容，训练者会设置一定的奖励机制——对于数学题等需要逻辑推理的问题，往往通过确认答案的正确与否给予奖励；对于写作等开放式命题，则需要判断其生成的内容是否符合人类写作习惯。为了训练效率，这种判断更多关注AI语言的逻辑性和内容格式等指标，却忽略了事实的核查。

此外，训练过程的缺陷也会导致AI存在“讨好”用户的倾向，明知道答案不符合事实，也愿意遵照指令生成迎合用户的内容，并编造一些虚假的例证或看似科学的术语来支撑自己的“假说”。这种“角色扮演式”的表达让许多普通用户难以分辨AI幻觉。上海交通大学媒体与传播学院进行的一项全国抽样调查显示，约七成受访者对大模型生成虚假或错误信息的风险缺乏清晰认知。

如何破解AI幻觉？开发者尝试通过技术手段为AI“纠偏”。比如“检索增强生成”技术，这意味着AI在回答前需要从最新的数据库检索相关信息，降低“信口开河”概率；一些模型被要求在不确定答案时主动承认“不知道”，而非强行编造答案。不过，由于目前的AI无法像人类那样理解语言背后的真实世界，因此这些方法难以从根本上解决AI幻觉问题。

应对AI幻觉，不仅需要技术规制，也需要从公民AI素养普及、平台责任、公共传播等维度构建系统性的“幻觉免疫力”。AI素养不仅包含使用AI的基本技能，更重要的是对AI幻觉要有基本的认知能力。明确技术平台的责任边界同样重要，AI产品在设计时就应嵌入风险提示机制，自动标记“可能存在事实性错误”等警示内容，并提供方便用户进行事实核查和交叉验证的功能。媒体可以通过定期发布AI伪造事实的典型案例，进一步培养公众的识别能力。通过多方联手，智能时代的认知迷雾才能被真正破除。

（作者为上海交通大学媒体与传播学院特聘教授，本报记者黄晓慧采访整理）

人工智能为何会产生幻觉？

原标题：人工智能为何会产生幻觉（唠“科”）

在科幻电影中，人工智能常被塑造成全知全能的“超级大脑”，但现实中，AI却时常表现为“自信的谎言家”。比如，请AI描述“关公战秦琼”，它不仅能“叙述”虚构的故事情节，还会“猜测”用户喜好，煞有介事地编造不存在的文献档案。这种现象被称为“AI幻觉”，已经成为困扰许多人工智能企业和使用者的现实难题。

AI为什么会一本正经地胡说八道？根源在于其思维方式与人类存在本质不同。今天人们日常使用和接触最多的AI大模型本质上是一个庞大的语言概率预测和生成模型。它通过分析互联网上数以万亿计的文本，学习词语之间的关联规律，再像玩猜词游戏一样，逐字逐句生成看似合理的回答。这种机制使AI擅于模仿人类的语言风格，但有时缺乏辨别真伪的能力。

AI幻觉的产生与大模型训练的过程密不可分。AI的知识体系基本来源于训练时“吞下”的数据源。来自互联网的各类信息鱼龙混杂，其中不乏虚假信息、虚构故事和偏见性观点。这些信息一旦成为AI训练的数据源，就会出现数据源污染。当某个领域专业数据不足时，AI便可能通过模糊性的统计规律来“填补空白”。比如，将科幻小说中的“黑科技”描述为真实存在的技术。在AI被越来越多地用于信息生产的背景下，AI生成的海量虚构内容和错误信息正在进入训练下一代AI的内容池，这种“套娃”生态将进一步加剧AI幻觉的产生。

在大模型训练过程中，为了使AI生成满足用户需求的内容，训练者会设置一定的奖励机制——对于数学题等需要逻辑推理的问题，往往通过确认答案的正确与否给予奖励；对于写作等开放式命题，则需要判断其生成的内容是否符合人类写作习惯。为了训练效率，这种判断更多关注AI语言的逻辑性和内容格式等指标，却忽略了事实的核查。

此外，训练过程的缺陷也会导致AI存在“讨好”用户的倾向，明知道答案不符合事实，也愿意遵照指令生成迎合用户的内容，并编造一些虚假的例证或看似科学的术语来支撑自己的“假说”。这种“角色扮演式”的表达让许多普通用户难以分辨AI幻觉。上海交通大学媒体与传播学院进行的一项全国抽样调查显示，约七成受访者对大模型生成虚假或错误信息的风险缺乏清晰认知。

如何破解AI幻觉？开发者尝试通过技术手段为AI“纠偏”。比如“检索增强生成”技术，这意味着AI在回答前需要从最新的数据库检索相关信息，降低“信口开河”概率；一些模型被要求在不确定答案时主动承认“不知道”，而非强行编造答案。不过，由于目前的AI无法像人类那样理解语言背后的真实世界，因此这些方法难以从根本上解决AI幻觉问题。

应对AI幻觉，不仅需要技术规制，也需要从公民AI素养普及、平台责任、公共传播等维度构建系统性的“幻觉免疫力”。AI素养不仅包含使用AI的基本技能，更重要的是对AI幻觉要有基本的认知能力。明确技术平台的责任边界同样重要，AI产品在设计时就应嵌入风险提示机制，自动标记“可能存在事实性错误”等警示内容，并提供方便用户进行事实核查和交叉验证的功能。媒体可以通过定期发布AI伪造事实的典型案例，进一步培养公众的识别能力。通过多方联手，智能时代的认知迷雾才能被真正破除。