100道大模型面试八股文

算法暑期实习机会快结束了,校招大考即将来袭。

当前就业环境已不再是那个双向奔赴时代了。求职者在变多,岗位在变少,要求还更高了。

最近,我们陆续整理了很多大厂的面试题,帮助球友解惑答疑和职业规划,分享了面试中的那些弯弯绕绕。

分享100道大模型面试八股文,喜欢记得点赞、收藏、关注:

  1. 你了解ReAct吗,它有什么优点?

  2. 解释一下langchain Agent的概念

  3. langchain 有哪些替代方案?

  4. langchain token计数有什么问题?如何解决?

  5. LLM预训练阶段有哪几个关键步骤?

  6. RLHF模型为什么会表现比SFT更好?

  7. 参数高效的微调(PEFT)有哪些方法?

  8. LORA微调相比于微调适配器或前缀微调有什么优势?

  9. 你了解过什么是稀疏微调吗?

  10. 训练后量化(PTQ)和量化感知训练(QAT)有什么区别?

  11. LLMs中,量化权重和量化激活的区别是什么?

  12. AWQ量化的步骤是什么?

  13. 介绍一下GPipe推理框架

  14. 矩阵乘法如何做数量并行?

  15. 请简述TPPO算法流程,它跟TRPO的区别是什么?

  16. 什么是检索增强生成(RAG)?

  17. 目前主流的中文向量模型有哪些?

  18. 为什么LLM的知识更新很困难?

  19. RAG和微调的区别是什么?

  20. 大模型一般评测方法及其准是什么?

  21. 什么是Kv cache技术,它具体是如何实现的?

  22. DeepSpeed推理对算子融合做了哪些优化?

  23. 简述一下FlashAttention的原理

  24. MHA、GQA、MQA三种注意力机制的区别是什么?

  25. 请介绍一下微软的ZeRO优化器

  26. Paged Attention的原理是什么,解决了LLM中的什么问题?

  27. 什么是投机采样技术,请举例说明?

  28. 简述GPT和BERT的区别

  29. 讲一下GPT系列模型的是如何演进的?

  30. 为什么现在的大模型大多是decoder-only的架构?

  31. 讲一下生成式语言模型的工作机理

  32. 哪些因素会导致LLM中的偏见?

  33. LLM中的因果语言建模与掩码语言建模有什么区别?

  34. 如何减轻LLM中的“幻觉”现象?

  35. 解释ChatGPT的“零样本”和“少样本”学习的概念

  36. 你了解大型语言模型中的哪些分词技术?

  37. 如何评估大语言模型(LLMs)的性能?

  38. 如何缓解LLMs复读机问题?

  39. 请简述下Transformer基本原理

  40. 为什么Transformer的架构需要多头注意力机制?

  41. 为什么transformers需要位置编码?

  42. transformer中,同一个词可以有不同的注意力权重吗?

  43. Wordpiece与BPE之间的区别是什么?

  44. 有哪些常见的优化LLMs输出的技术?

  45. GPT-3拥有的1750亿参数,是怎么算出来的?

  46. 温度系数和top-p、top-k参数有什么区别?

  47. 为什么transformer块使用LayerNorm而不是BatchNorm?

  48. 介绍一下post layer norm和pre layer norm的区别

  49. 什么是思维链(CoT)提示?

  50. 你觉得什么样的任务或领域适合用思维链提示?

  51. 目前主流的开源模型体系有哪些?

  52. prefix LM和causal LM区别是什么?

  53. 涌现能力是啥原因?

  54. 大模型LLM的架构介绍?

  55. 什么是LLMs复读机问题?

  56. 为什么会出现LLMs复读机问题?

  57. 如何缓解LLMs复读机问题?

  58. llama输入句子长度理论上可以无限长吗?

  59. 什么情况下用Bert模型,什么情况下用LLama、ChatGLM类大模型,咋选?

  60. 各个专长领域是否需要各自的大模型来服务?

  61. 如何让大模型处理更长的文本?

  62. 为什么大模型推理时显存涨的那么多还一直占着?

  63. 大模型在gpu和cpu上推理速度如何?

  64. 推理速度上,int8和fp16比起来怎么样?

  65. 大模型有推理能力吗?

  66. 大模型生成时的参数怎么设置?

  67. 有哪些省内存的大语言模型训练/微调/推理方法?

  68. 如何让大模型输出台规化

  69. 应用模式变更

  70. 大模型怎么评测?

  71. 大模型的honest原则是如何实现的?

  72. 模型如何判断回答的知识是训练过的已知的知识,怎么训练这种能力?

  73. 奖励模型需要和基础模型一致吗?

  74. RLHF在实践过程中存在哪些不足?

  75. 如何解决人工产生的偏好数据集成本较高,很难量产问题?

  76. 如何解决三个阶段的训练(SFT->RM->PPO)过程较长,更新迭代较慢问题?

  77. 如何解决PPO的训练过程中同时存在4个模型(2训练,2推理),对计算资源的要求较高问题?

  78. 如何给LLM注入领域知识?

  79. 如果想要快速检验各种模型,该怎么办?

  80. 预训练数据Token重复是否影响模型性能?

  81. 什么是位置编码?

  82. 什么是绝对位置编码?

  83. 什么是相对位置编码?

  84. 旋转位置编码RoPE思路是什么?

  85. 旋转位置编码RoPE有什么优点?

  86. 什么是长度外推问题?

  87. 长度外推问题的解决方法有哪些?

  88. ALiBi(Attention with Linear Biases)思路是什么?

  89. ALiBi(Attention with Linear Biases)的偏置矩阵是什么?有什么作用?

  90. ALiBi(Attention with Linear Biases)有什么优点?

  91. Layer Norm的计算公式写一下?

  92. RMS Norm的计算公式写一下?

  93. RMS Norm相比于Layer Norm有什么特点?

  94. Deep Norm思路?

  95. 写一下Deep Norm代码实现?

  96. Deep Norm有什么优点?

  97. LN在LLMs中的不同位置有什么区别么?如果有,能介绍一下区别么?

  98. LLMs各模型分别用了哪种Layer normalization?

  99. 介绍一下FFN块计算公式?

  100. 介绍一下GeLU计算公式?

  101. 介绍一下Swish计算公式?

  102. 介绍一下使用GLU线性门控单元的FFN块计算公式?

  103. 介绍一下使用GeLU的GLU块计算公式?

  104. 介绍一下使用Swish的GLU块计算公式?

面试精选

  • 《大模型面试宝典》(2024版) 正式发布!

  • 一文搞懂 Transformer

  • 一文搞懂 Attention(注意力)机制

  • 一文搞懂 Self-Attention 和 Multi-Head Attention

  • 一文搞懂 BERT(基于Transformer的双向编码器)

  • 一文搞懂 GPT(Generative Pre-trained Transformer)

  • 一文搞懂 Embedding(嵌入)

  • 一文搞懂 Encoder-Decoder(编码器-解码器)

  • 一文搞懂大模型的 Prompt Engineering(提示工程)

  • 一文搞懂 Fine-tuning(大模型微调)

  • 一文搞懂 LangChain

  • 一文搞懂 LangChain 的 Retrieval 模块

  • 一文搞懂 LangChain 的智能体 Agents 模块

  • 一文搞懂 LangChain 的链 Chains 模块

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/23607.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Python报错】已解决ModuleNotFoundError: No Module Named ‘openyxl’

成功解决“ModuleNotFoundError: No Module Named ‘openyxl’”错误的全面指南 在Python编程中,遇到ModuleNotFoundError: No Module Named openyxl这样的错误通常意味着Python解释器无法找到名为openyxl的模块。然而,这里存在一个常见的拼写错误&#…

javascript中的flat和faltmap的区别

JavaScript 中的 flat 和 flatMap 是数组方法,它们用于处理嵌套数组(即数组中的元素也是数组)。下面是它们的区别: flat 方法: flat 方法用于将嵌套数组“展平”成一个新数组,但不会改变原始数组。它接受一个可选的深…

Anaconda 环境管理的一些特殊操作

在指定位置创建虚拟环境 第一步:在现有/your/paht/目录创建env_name的环境变量 conda create -p /your/paht/env_name python3.x第二步:通过一下命令发现环境变量没有名字: conda env list第三步:将/your/paht/ 加入到conda 的en…

资源描述框架的用途及实际应用解析

什么是RDF? RDF代表 资源描述框架 RDF是用于描述网络资源的框架 RDF旨在被计算机阅读和理解 RDF并非设计用于供人阅读 RDF以 XML 编写 示例 描述购物商品的属性,如价格和可用性描述网络活动的时间表描述网页的信息(内容,作者&a…

使用 Nacos 在 C# (.NET Core) 应用程序中实现高效配置管理和服务发现

在分布式系统架构日益流行的今天,服务配置管理和发现成为了开发和运维团队面临的重大挑战。Nacos,作为阿里巴巴开源的一款强大的动态配置管理与服务发现平台,为解决这一难题提供了有效方案。本文将介绍如何在C# (.NET Core)应用程序中集成Nac…

springboot,配置类加载过程

加载过程 首先来看启动类,启动类上包含了SpringBootApplication注解 SpringBootApplication MapperScan("com.cskaoyan.mapper") public class Application {public static void main(String[] args) {SpringApplication.run(Application.class, args);…

后端开发面经系列 --中望C++面经

中望C面经,全部内容! 公众号:阿Q技术站 文章目录 中望C面经,全部内容!一面 8.15 时长45min1、介绍项目相关2、gdb怎么调试的?打断点用什么指令?3、gcc的编译过程4、cmake添加头文件搜索路径用…

Werkzeug的Response

Werkzeug的Response Werkzeug是一个WSGI工具包,提供了一组工具用于开发基于WSGI的Python Web应用。它不仅仅是一个简单的库,还提供了许多方便的工具来处理HTTP请求和响应。本文将深入探讨Werkzeug中Response类的讲解。 官方文档链接 Werkzeug Respons…

大语言模型 (LLM) 窥探未来

随着2023年的岁月渐渐走向尾声,我们站在人工智能的前沿,回望大语言模型(Large Language Models, LLM)所走过的道路,同时也不禁展望未来。从初步尝试到成为人工智能领域的万千宠爱,一种又一种的技术突破&…

搜维尔科技:「案例」Faceware电影中面部动画的演变历程

面部动画是电影中角色表演的一个重要方面,尤其是在严重依赖电子动画、化妆效果和动作捕捉系统的奇幻电影中。在《龙与地下城:盗贼荣誉》电影中,龙裔角色的面部动画是一个复杂的系统,使该生物在大屏幕上栩栩如生。该系统依赖于一种…

超速解读多模态InternVL-Chat1.5 ,如何做到开源SOTA——非官方首发核心技巧版(待修订)

解读InternVL-chat1.5系列 最近并行是事情太杂乱了,静下心来看一看优秀的开源项目,但是AI技术迭代这么快,现在基本是同时看五、六个方向的技术架构和代码,哪个我都不想放,都想知道原理和代码细节,还要自己训练起来&am…

特征工程,减小过拟合

目录 特征工程 减小过拟合 图像增强方法 特征工程是机器学习和数据分析中不可或缺的一环,其重要性不言而喻。以下是关于特征工程的详细回答: 一、定义 特征工程是将原始数据转化为更好的表达问题本质的特征的过程,旨在发现对因变量y有明显影响作用的特征(通常称自变量…

Linux驱动开发笔记(四)设备树进阶及GPIO、Pinctrl子系统

文章目录 前言一、设备树的进阶知识1. 追加/修改节点内容2.chosen子节点3. 获取设备树节点信息3.1 of_find_node_by_path( )函数3.2 of_find_node_by_name( )函数3.3 of_find_node_by_type( )函数3.4 of_find_compatible_node( )函数3.5 of_find_matching_node_and_match( )函数…

Day30 登录界面设计

​ 本章节,实现了登录界面窗口设计 一.准备登录界面图片素材(透明背景图片) 把准备好的图片放在 Images 文件夹下面,格式分别是 .png和 .icoico 图片,右键属性,生成操作选 内容 png 图片,右键属性,生成操作选 资源 选中 login.png图片鼠标右键,选择属性。生成的操作选…

多目标应用:MOHHO多目标哈里斯鹰优化算法求解无人机三维路径规划(MATLAB代码)

详细介绍 多目标应用:MOHHO多目标哈里斯鹰优化算法求解无人机三维路径规划(MATLAB代码)-CSDN博客 一次运行结果 完整MATLAB代码

CentOS6系统因目录有隐含i权限属性致下属文件无法删除的故障一例

CentOS6服务器在升级openssh时因系统目录权限异常(有隐含i权限属性),下属文件无法删除,导致系统问题的故障一例。 一、问题现象 CentOS6在升级openssh时,提示如下问题: warning: /etc/ssh/sshd_config c…

springboot vue 开源 会员收银系统 (6) 收银台的搭建

前言 完整版演示 前面我们对会员系统 分类和商品的开发 完成了收银所需的基础信息 下面我们开始完成收银台的开发 简单画了一个收银的流程图大家参考下 从这张图我们可以分析一下几点 可以选择会员或散客收银选择会员使用相应的会员价结算使用会员卡则在价格基础根据卡折扣…

function和bind使用实践

文章目录 1.functional 接受全局函数2.functional 接受lambda表达式3.functional 接收静态成员函数4.functional 接收成员函数5.bind 绑定全局函数6.bind 绑定成员函数7.使用 placeholders占位 1.functional 接受全局函数 2.functional 接受lambda表达式 3.functional 接收静…

node.js漏洞——

一.什么是node.js 简单的说 Node.js 就是运行在服务端的 JavaScript。 Node.js 是一个基于 Chrome JavaScript 运行时建立的一个平台。 Node.js 是一个事件驱动 I/O 服务端 JavaScript 环境,基于 Google 的 V8 引擎,V8 引擎执行 Javascript 的速度非常…

神经网络搭建(1)----nn.Sequential

神经网络模型构建 采用CIFAR10中的数据,并对其进行简单的分类。以下图为例 输入:3通道,3232 ( 经过一个55的卷积) → 变成32通道,3232的图像 (经过22的最大池化) → 变成32通道,1616的图像 ( 经过一个55的卷积) → 变…