节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂同学、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。
今天整理我们社群一个同学面试字节 NLP 算法方向的面试题，分享给大家，希望对后续找工作的有所帮助。喜欢记得点赞、收藏、关注。更多技术交流&面经学习，可以加入我们。
我是内推途径进行面试，速度比较快，在周日投递简历，隔天周一hr就约了周四的面试，结果那天是2面视频技术面+hr面直接走完了，紧接着就是offer call。整体投递+面试+发录用通知函的时间不到一周，而且面试官都是和简历对口的，整体体验非常棒。
面试的岗位是“AI Lab实习生 — 自然语言处理NLP”，一共2面技术和一面hr，这里主要说下其中的技术面试。
一面
20min简历 + 30min题
先自我介绍，然后面试官说了句“好的了解”就直接进入项目了。
我的经历主要是一些竞赛，因此也是主要聊竞赛，在竞赛细节中扣一些细节提问。竞赛主要是关于机器阅读理解MRC的（百度机器阅读、莱斯杯等），面试官也刚好懂，大致问题如下：
-
请你描述一下竞赛背景，以及你在其中的工作/职责。
-
我看你数据做了很多预处理，这部分重要吗，具体是如何做的预处理。这个不同项目应该不太一样，不细说了。
-
我看你用了word2vec的词向量，知道它是如何训练的吗，有哪些trick。这个很基础了，trick就是负采样和分层softmax。
-
glove了解吗，elmo呢？
-
你把很多组件改成了transformer 的 multi-head attention，为什么要舍弃lstm的结构而选用它呢。我回答的是可并行+更强大的特征提取能力，顺便还解释了self attention的原理以及multi-head的作用。
-
说一下bidaf的匹配层，解释了bidaf的c2q和q2c的意义和具体做法。
-
你取得top2的成绩还有其他优化吗。这部分答了很多，当时吃了没用bert的亏，所以在很多方面进行了一定的优化。
-
你的第二个竞赛用roberta，它和bert的区别。动态mask+去除NSP+大力出奇迹（更大的batch，更多的数据，更多的step）。
-
xlnet和bert有啥不同。自回归&&自编码的知识，其中解释了xlnet排列语言模型以及双流attention。
-
albert了解吗？embedding层矩阵分解+参数共享 + SOP + 工程细节。
其他还有些小问题想不起来了，总体来说问的面不广，但是扣了些细节。
两道算法题：
-
顺时针打印数组
-
编辑距离
大模型题目：
-
怎么解决大语言模型的幻觉问题，RLHF可以吗？
-
为什么模型越大，貌似更多地具备AGI的能力？这背后的逻辑是什么？
-
有做过大模型训练的实践吗，有哪些收获或者感悟？
-
关于微调的方法有哪些？
-
如何评估大模型中数据集的质量？
-
怎么解决大语言模型的幻觉问题，RLHF可以吗？
-
PPO算法和DQN算法的区别是什么？
二面
先同样是自我介绍。
然后出了一道“智力题”？
10个袋子，1000个球，你用球填充袋子，然后就固定了。现在来一个客户，无论他要1~1000哪个数量，你都能通过组装几个袋子给他。
我开始对面试官说可以动态规划：第一个袋子放1个，第二个袋子放2个，这个时候3=1+2,所以第三个袋子不用放3个，放4个；此时5=4+1，6=4+2，7=4+2+1都能组合得到，所以第四个袋子放8个，以此类推。后来一想，这不就是个1,2,4,8的等比数列吗…
因为我提到了动态规划，面试官为了使用动态规划要满足的条件是什么？什么情况下时候动态规划比较好呢？答：使用dp需要满足最优子结构性质 + 无后效性，在子问题有重叠的时候可以自顶向下的记忆化搜索，或者直接写成自底向上的dp。
问我了一个C++的问题，后来看我很懵逼，看一眼简历说哦你是会Java啊，那我们换个问题，你说一下堆和栈。我说了数据结构的堆和栈，被打断，他说是内存分配中的堆和栈。这部分答得不好。
接着是简历了，主要也是问竞赛相关，听我这些竞赛的细节，然后针对细节提问，没咋问transformer、bert相关，问了更偏传统机器学习一些， 主要是一些关于gbdt、xgb、crf。
gbdt和xgb的就不细说了。
crf部分问的很详细，例如它的具体定义？什么是马尔可夫随机场？讲讲你对crf的理解？crf和hmm的区别知道吗，为什么ner任务用crf而不是hmm?crf具体如何预测？感觉答得一般。
2道算法题：
-
口述了一道算法题，我记不起来了，是一道dp题来着，反正很快想到了方法，就pass了。
-
安卓手机的解码方式多少种，就是那种9个点，可以上下左右、左上、左下、右上、右下连线的解锁，最少一个第一点，最多可以全连上，一个点只能用一次。我用的dfs直接做的。
大模型题目：
- 大模型的网络结构有哪几个部分？
- 除了数据之外，还有哪些方向的工作可以进一步优化大模型的效果？
- 如果让你训练一个模型，基座，数据，finetune的方法怎么选？
- prefix LM 和 causal LM 区别是什么？
- 垂直领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？
技术交流群
前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~
我们建了算法岗技术与面试交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。
方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2060，备注：技术交流
用通俗易懂方式讲解系列
- 用通俗易懂的方式讲解：自然语言处理初学者指南（附1000页的PPT讲解）
- 用通俗易懂的方式讲解：1.6万字全面掌握 BERT
- 用通俗易懂的方式讲解：NLP 这样学习才是正确路线
- 用通俗易懂的方式讲解：28张图全解深度学习知识！
- 用通俗易懂的方式讲解：不用再找了，这就是 NLP 方向最全面试题库
- 用通俗易懂的方式讲解：实体关系抽取入门教程
- 用通俗易懂的方式讲解：灵魂 20 问帮你彻底搞定Transformer
- 用通俗易懂的方式讲解：图解 Transformer 架构
- 用通俗易懂的方式讲解：大模型算法面经指南（附答案）
- 用通俗易懂的方式讲解：十分钟部署清华 ChatGLM-6B，实测效果超预期
- 用通俗易懂的方式讲解：内容讲解+代码案例，轻松掌握大模型应用框架 LangChain
- 用通俗易懂的方式讲解：如何用大语言模型构建一个知识问答系统
- 用通俗易懂的方式讲解：最全的大模型 RAG 技术概览
- 用通俗易懂的方式讲解：利用 LangChain 和 Neo4j 向量索引，构建一个RAG应用程序
- 用通俗易懂的方式讲解：使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA
- 用通俗易懂的方式讲解：面了 5 家知名企业的NLP算法岗(大模型方向)，被考倒了。。。。。
- 用通俗易懂的方式讲解：NLP 算法实习岗，对我后续找工作太重要了！。
- 用通俗易懂的方式讲解：理想汽车大模型算法工程师面试，被问的瑟瑟发抖。。。。
- 用通俗易懂的方式讲解：基于 Langchain-Chatchat，我搭建了一个本地知识库问答系统
- 用通俗易懂的方式讲解：面试字节大模型算法岗(实习)
- 用通俗易懂的方式讲解：大模型算法岗(含实习)最走心的总结
- 用通俗易懂的方式讲解：大模型微调方法汇总
)
)
)
