京东大模型算法面试题6道|含解析

13本七月在线内部电子书在文末，自取~

公众号福利

回复【100题】领取《名企AI面试100题》PDF

回复【干货资料】领取NLP、CV、ML、大模型等方向干货资料

问题1、原生模型复读不严重，为什么微调后复读严重？

微调后复读严重的原因主要包括以下几个方面：

数据分布偏差：

原生模型在大规模、多样化的预训练数据上训练，具备通用语言生成能力。微调时，模型的训练数据通常是小规模的、特定领域的数据，可能存在高重复性或狭窄的语义分布，导致模型学习到重复的模式。

训练目标的单一化：

微调过程中，由于数据规模较小，模型更容易过拟合，过度学习训练集中出现的模式和特定表述，从而导致复读现象。

问题2、领域知识能不能通过LoRA微调得到

可以通过LoRA微调模型来学习和表达领域知识，具体如下：

LoRA 的原理：

• LoRA（Low-Rank Adaptation）通过对预训练模型中的权重进行低秩矩阵分解，仅更新分解后的低秩矩阵部分，而保持原始权重冻结。这种方式能够有效地引入领域特定的知识，同时降低训练开销。

适用场景：

• 小数据集领域微调：LoRA在少量领域数据下能较好地捕捉领域特性。

• 多领域适配：不同领域可以分别训练不同的LoRA模块，按需加载以适配不同任务。

• 模型容量受限场景：由于LoRA只增加少量参数，适合资源有限的情况。

问题3、如何解决大模型幻觉？或者说如何缓解吧

大模型的幻觉问题是指模型生成看似合理但事实不准确的信息。缓解方法包括：

• 增加知识约束：

• • 知识增强（Knowledge Augmentation）：使用知识库、图谱或外部API对生成内容进行验证。例如，结合RAG（Retrieval-Augmented Generation）动态检索信息。

  • Fact-Checking 模块：在生成结果后增加事实验证机制。

• 多轮对话约束：

• • 通过多轮对话，让模型自我纠错，或通过用户反馈迭代改进生成。

• 训练过程改进：

• • 引入知识对齐：在微调时加入高质量知识标注数据，使生成内容更加准确。

  • 对抗训练：使用对抗数据（如错误答案和正确答案）进行训练，减少幻觉风险。

• 后处理策略：

• • 规则过滤：使用规则或分类器过滤明显的错误内容。

  • 置信度输出：模型附带置信度评分，供用户判断结果可靠性。

• 强化学习优化（RLHF）：

• • 使用人类反馈进行强化学习（如DPO、PPO），让模型生成更符合事实的内容。

问题4、loss 除以 10 和学习率除以10 有区别没？

有区别，但两者在某些情况下可以产生类似的效果。

Loss 除以 10：

• Loss缩小后，每次反向传播的梯度也会相应缩小。这相当于间接减小了参数更新的步长。

• 这种方法可能在一定程度上缓解梯度爆炸，但不推荐直接调整Loss，容易导致损失函数不平衡。

学习率除以 10：

• 学习率缩小后，会直接控制参数更新的步长。

• 这种方法更直接且常用，能有效地控制训练过程的稳定性。

对比：

• 调整学习率是标准做法，更易于控制训练动态。

• Loss调整会影响损失函数本身的意义，不建议直接用于控制训练。

问题5、self-attention为什么要做qkv的线性变换？

Self-Attention 中的 Q、K、V 线性变换有以下目的：

学习表达（Learnable Representations）：

• 原始的输入嵌入可能不足以捕获上下文关系。通过线性变换，模型可以学习到不同任务中更适合的特征表示。

多头机制的基础：

• 多头注意力依赖于多个独立的Q、K、V投影。线性变换允许每个头学习不同的特征空间，从而增强模型的表达能力。

降维和计算效率：

• 输入维度可能很高，直接计算注意力分数代价昂贵。通过线性变换，可以降维处理，降低计算复杂度。

灵活性：

• 线性变换引入了可学习的权重，使得Q、K、V可以根据上下文动态调整，而不是固定的。

问题6、self-attention 为什么 要做softmax？

Self-Attention中的Softmax用于归一化注意力分数，目的包括：

概率分布：

• Softmax将注意力分数归一化为概率分布，使得各位置的注意力分数易于解释。

信息聚合：

• 通过Softmax，模型能够根据不同的注意力权重，聚合各位置的信息，突出重要内容，抑制次要信息。

梯度稳定性：

• Softmax的归一化效果避免了注意力分数过大或过小，保证了梯度的稳定性和训练的有效性。

增强对比度：

• Softmax的指数性质能够放大较大的分数，同时抑制较小的分数，从而更突出高相关性的上下文信息。

• ↓以下13本书电子版免费领，直接送↓

  扫码回复【999】免费领13本电子书

  （或找七月在线其他老师领取）