面经分享|面了好未来NLP算法岗(实习)，经历坎坷但值了!

节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂同学、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。

今天我分享一位小伙伴，今年成功找到实习机会，面试题整理后分享给大家，希望对后续找工作的有所帮助。喜欢记得点赞、收藏、关注。更多技术交流&面经学习，可以加入我们。

自我介绍

今年某985研二，本文章主要记录了本小菜研找实习的坎坷历程。

1. 自我介绍

在自我介绍环节，我清晰地阐述了个人基本信息、教育背景、工作经历和技能特长，展示了自信和沟通能力。

2. 技术问题

2.1 lora的矩阵怎么初始化？为什么要初始化为全0？

初始化时，矩阵 A 随机高斯初始化，矩阵 B 初始化为0。之所以要这样初始化的原因是，在初始阶段这两个矩阵相乘为0，可以保证在初始阶段时，只有左边的主干生效。然后 BA 还会乘以一个缩放因子 a/r， a 也由我们自己指定。

训练的时候，预训练的权重矩阵全部都是冻结的。

2.2 gpt源码past_key_value是干啥的？

在GPT（Generative Pre-trained Transformer）中，past_key_value是用于存储先前层的注意力权重的结构。在进行推理时，过去的注意力权重可以被重复使用，避免重复计算，提高效率。

2.3 gpt onebyone 每一层怎么输入输出？

在GPT One-by-One中，每一层的输入是上一层的输出。具体而言，输入是一个序列的嵌入表示（通常是词嵌入），并通过自注意力机制和前馈神经网络进行处理，得到输出序列的表示。

2.4 模型输出的分布比较稀疏，怎么处理？

可以采用一些方法来处理模型输出的分布稀疏，例如使用softmax函数的温度参数调节来平滑输出分布，或者引入正则化技术，如Dropout，以减少模型对特定类别的过度依赖。

2.5 kl散度的公式和kl散度与交叉熵的区别?

KL（Kullback-Leibler）散度衡量了两个概率分布之间的差异。其公式为：

KL散度指的是相对熵，KL散度是两个概率分布P和Q差别的非对称性的度量。KL散度越小表示两个分布越接近。也就是说KL散度是不对称的，且KL散度的值是非负数。（也就是熵和交叉熵的差）

2.6 介绍一下文本embedding方法?

文本嵌入（Text Embedding）是一种将自然语言文本数据转换为连续向量空间中稠密向量的技术，在这个向量空间中，语义相似的词或文本片段会拥有相近的向量表示。这种技术是现代自然语言处理（NLP）中的基石，它使得计算机可以理解和处理文本数据，并将其应用到诸如分类、聚类、检索、翻译、问答等多种下游任务。

以下是一些常见的文本嵌入方法：

Word2Vec：
- 包括CBOW（Continuous Bag-of-Words）和Skip-gram两种模型，由Google在2013年提出。它们通过神经网络学习词语与其上下文之间的关系，生成固定长度的词向量。
GloVe：
- GloVe（Global Vectors for Word Representation），由斯坦福大学提出，该方法基于全局词频统计信息构建词共现矩阵，通过优化目标函数直接学习每个词的向量表示，使得词向量的点积近似于它们在语料库中的共现概率。
FastText：
- 由Facebook AI Research开发，FastText在Word2Vec的基础上增加了对字符级n-grams的考虑，尤其适合处理形态丰富的低资源语言以及未登录词的表示问题。
Paragraph Vector (Doc2Vec)
- 可以扩展到句子和段落级别，除了学习单词向量外，还学习一个额外的“文档向量”，能够捕获较长文本整体的语义特征。
Transformer-based Embeddings：
- 随着Transformer架构的出现，如BERT（Bidirectional Encoder Representations from Transformers）、GPT（Generative Pretrained Transformer）及其后续版本，预训练语言模型进一步提升了文本嵌入的质量。这些模型在大量无标签文本上进行自监督训练，得到的词嵌入包含了丰富的上下文信息。
ELMo：
- ELMo（Embeddings from Language Models）利用双向LSTM的语言模型上下文敏感地计算词向量，词的表示取决于其在句子中的具体上下文。
Sentence-BERT (SBERT)

对BERT等Transformer模型进行微调，使其可以直接生成句子级别的嵌入，特别适用于句子对齐、相似度计算等任务。

通过这些文本嵌入技术，原本离散的文本数据得以转化为具有数学性质的向量表达，从而可以在机器学习和深度学习算法中更高效地处理和分析。随着技术的发展，新的嵌入方法不断涌现，且越来越适应大规模多语言和跨模态的应用场景。

2.7 chatgpt的reward model怎么来的，三阶段？

ChatGPT模型的训练过程中，确实涉及到了一个基于人类反馈强化学习（Reinforcement Learning from Human Feedback, RLHF）的三阶段过程。以下是这个过程的一个概述：

预训练（Pre-training）阶段：

在这个阶段，GPT模型通过无监督学习的方式在大规模文本数据集上进行训练。该模型的目标是预测下一个词语给定前面的词语序列，从而学习语言模型的基本结构和模式。

奖励模型训练（Reward Model Training）阶段：

预训练后的模型会被用于生成大量针对各种提示的回答。
这些生成的回答会由人工标注员进行评估，并给出好坏或满意度得分，形成一个带有质量评分的数据集。
基于这些人工标注的数据，训练一个奖励模型（Reward Model），该模型可以预测对于任何给定的输入和输出对，人类用户可能给予多大的满意程度分数。
通过这种方式，奖励模型能够理解并量化哪些类型的回答更符合人类期望的标准。

强化学习微调（Fine-tuning with Reinforcement Learning）阶段：

使用训练好的奖励模型作为指导信号，将预训练模型与强化学习算法结合，对模型进行微调（fine-tuning）。
模型现在以强化学习的方式进一步训练，目标是在生成响应时最大化来自奖励模型的预期奖励，也就是得到更高的满意度分数。
通过迭代优化，ChatGPT模型逐渐学会根据上下文生成更加准确、有用且合乎伦理道德的回答。

最终，经过这三阶段训练流程，ChatGPT不仅具备了强大的语言生成能力，还能够更好地理解和适应人类对话的需求，提供更为高质量的人工智能交互体验。

3. Leetcode 题

287. 寻找重复数

题目内容

给定一个包含 n + 1 个整数的数组 nums ，其数字都在 [1, n] 范围内（包括 1 和 n），可知至少存在一个重复的整数。

假设 nums 只有一个重复的整数，返回这个重复的数。

你设计的解决方案必须不修改数组 nums 且只用常量级 O(1) 的额外空间。

示例 1：

输入：nums = [1,3,4,2,2]
输出：2

示例 2：

输入：nums = [3,1,3,4,2]
输出：3

代码实现

class Solution:def findDuplicate1(self, nums: List[int]) -> int:''' 方法一：排序法解析：包含 n + 1 个整数的数组 nums ，其数字都在 [1, n] 范围内（包括 1 和 n），也就是排序之后，第一个值不等于 位置索引的 数 为 重复数'''nums = sorted(nums)i = 1while i < len(nums):if nums[i] == nums[i-1]:return nums[i]i = i + 1def findDuplicate2(self, nums: List[int]) -> int:''' 方法二：位运算法'''nums = sorted(nums)i = 1while i < len(nums):print(nums[i] ^ nums[i-1])if nums[i] ^ nums[i-1]==0:return nums[i]i = i + 1def findDuplicate3(self, nums: List[int]) -> int:''' 方法三：快慢指针法解析：存在相同值，也就表示 快慢指针 会 相遇'''slow = 0fast = 0while 1:slow = nums[slow]fast = nums[nums[fast]]if slow==fast:fast = 0while 1:if slow==fast:return slowslow = nums[slow]fast = nums[fast]def findDuplicate(self, nums: List[int]) -> int:'''方法四：哈希表法'''dic = set()for num in nums:if num not in dic:dic.add(num)else:return num