LLM大模型工程师面试经验宝典--基础版(2024.7月最新)

1.简单介绍一下大模型【LLMs】?

        大模型:一般指1亿以上参数的模型,但是这个标准一直在升级,目前万亿参数以上的模型也有了。大语言模型(Large Language Model,LLM)是针对语言的大模型。

2.目前主流的开源模型体系有哪些?

        目前主流的开源模型体系分三种:

1. 第一种:prefix Decoder 系

        介绍:输入双向注意力,输出单向注意力

        代表模型:ChatGLM、ChatGLM2、U-PaLM

2. 第二种:causal Decoder 系

        介绍:从左到右的单向注意力

        代表模型:LLaMA-7B、LLaMa 衍生物

3. 第三种:Encoder-Decoder

        介绍:输入双向注意力,输出单向注意力

        代表模型:T5、Flan-T5、BART

3. prefix Decoder 和 causal Decoder 和 EncoderDecoder 区别是什么?

        prefix Decoder 和 causal Decoder 和 Encoder-Decoder 区别 在于 attention mask不同:

1. Encoder-Decoder:

2. 在输入上采用双向注意力,对问题的编码理解更充分

3. 适用任务:在偏理解的 NLP 任务上效果好

4. 缺点:在长文本生成任务上效果差,训练效率低;

5. causal Decoder:

6. 自回归语言模型,预训练和下游应用是完全一致的,严格遵守只有后面的token才能看到前面的 token的规则;

7. 适用任务:文本生成任务效果好

8. 优点:训练效率高,zero-shot 能力更强,具有涌现能力

9. prefix Decoder:

10. 特点:prefix部分的token互相能看到,causal Decoder 和 Encoder-Decoder 折中;

11. 缺点:训练效率低 

4. 大模型LLM的训练目标是什么?

1. 语言模型 根据 已有词 预测下一个词,训练目标为最大似然函数:

训练效率:Prefix Decoder < Causal Decoder Causal Decoder 结构会在所有token 上计算损失,而 Prefix Decoder 只会在 输出上 计算损失。

2. 去噪自编码器 随机替换掉一些文本段,训练语言模型去恢复被打乱的文本段。

目标函数为:

去噪自编码器的实现难度更高。采用去噪自编码器作为训练目标的任务有GLM-130B、T5.

5. 涌现能力是啥原因?

根据前人分析和论文总结,大致是2个猜想:

1. 任务的评价指标不够平滑;

2. 复杂任务 vs 子任务,这个其实好理解,比如我们假设某个任务 T 有 5 个子任务 Sub-T 构成,每个 sub-T 随着模型增长,指标从 40% 提升到 60%,但是最终任务的指标只从 1.1% 提升到了 7%,也 就是说宏观上看到了涌现现象,但是子任务效果其实是平滑增长的。

6.为何现在的大模型大部分是Decoder only结构?

        因为decoder-only结构模型在没有任何微调数据的情况下,zero-shot的表现能力最好。而encoderdecoder则需要在一定量的标注数据上做multitask-finetuning才能够激发最佳性能。 目前的Large LM的训练范式还是在大规模语料shang 做自监督学习,很显然zero-shot性能更好的 decoder-only架构才能更好的利用这些无标注的数据。

         大模型使用decoder-only架构除了训练效率和工程实现上的优势外,在理论上因为Encoder的双向注意 力会存在低秩的问题,这可能会削弱模型的表达能力。就生成任务而言,引入双向注意力并无实质的好处。而Encoder-decoder模型架构之所以能够在某些场景下表现更好,大概是因为它多了一倍参数。所 以在同等参数量、同等推理成本下,Decoder-only架构就是最优的选择了。

7. 大模型【LLMs】后面跟的 175B、60B、540B等指什么?

175B、60B、540B等:这些一般指参数的个数,B是Billion/十亿的意思,175B是1750亿参数,这是 ChatGPT大约的参数规模。

8. 大模型【LLMs】具有什么优点?

1. 可以利用大量的无标注数据来训练一个通用的模型,然后再用少量的有标注数据来微调模型,以适 应特定的任务。这种预训练和微调的方法可以减少数据标注的成本和时间,提高模型的泛化能力;

2. 可以利用生成式人工智能技术来产生新颖和有价值的内容,例如图像、文本、音乐等。这种生成能 力可以帮助用户在创意、娱乐、教育等领域获得更好的体验和效果;

3. 可以利用涌现能力(Emergent Capabilities)来完成一些之前无法完成或者很难完成的任务,例如 数学应用题、常识推理、符号操作等。这种涌现能力可以反映模型的智能水平和推理能力。

9. 大模型【LLMs】具有什么缺点?

1. 需要消耗大量的计算资源和存储资源来训练和运行,这会增加经济和环境的负担。据估计,训练一 个GPT-3模型需要消耗约30万美元,并产生约284吨二氧化碳排放;

2. 需要面对数据质量和安全性的问题,例如数据偏见、数据泄露、数据滥用等。这些问题可能会导致 模型产生不准确或不道德的输出,并影响用户或社会的利益;

3. 需要考虑可解释性、可靠性、可持续性等方面的挑战,例如如何理解和控制模型的行为、如何保证 模型的正确性和稳定性、如何平衡模型的效益和风险等。这些挑战需要多方面的研究和合作,以确 保大模型能够健康地发展。

八股文进阶版:http://t.csdnimg.cn/5yxMO

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/38968.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于布雷格曼偏差校正技术的全变分一维时间序列信号降噪方法(MATLAB R2018A)

信号降噪是信号处理的重要步骤之一&#xff0c;目的是提高所获得信号数据的质量&#xff0c;以达到更高的定性和定量分析精度。信号降噪能提升信号处理其他环节的性能和人们对信息识别的准确率&#xff0c;给信号处理工作提供更可靠的保证。信号降噪的难点是降低噪声的同时也会…

69. x 的平方根(简单)

69. x 的平方根 1. 题目描述2.详细题解3.代码实现3.1 Python方法一&#xff1a;逐个遍历方法二&#xff1a;二分查找 3.2 Java 1. 题目描述 题目中转&#xff1a;69. x 的平方根 2.详细题解 不能使用系统内置的函数&#xff0c;寻找某个数&#xff08;假定为x&#xff09;的…

网络请求的高效处理:C++ libmicrohttpd库详解

一、libmicrohttpd简介 libmicrohttpd是一个小型的C语言库&#xff0c;用于创建HTTP服务器和客户端。它提供了HTTP 1.1协议的完整实现&#xff0c;包括持久连接、管道化请求、虚拟主机等特性。libmicrohttpd的特点是&#xff1a; 轻量级&#xff1a;易于集成到C或C项目中。跨…

微信好友不小心拉黑了?这样操作,友谊的小船不会翻

在数字化时代&#xff0c;微信已成为我们社交生活的核心&#xff0c;它不仅连接着亲朋好友&#xff0c;更承载着我们的情感与回忆。 然而&#xff0c;情绪波动时&#xff0c;我们可能会一时冲动&#xff0c;将某些好友误送入黑名单。但别担心&#xff0c;今天&#xff0c;就让…

IMU在手语识别中的应用

近期&#xff0c;一款由美国和中国科研团队联合研发的新型的穿戴设备——SignRing&#xff0c;以其独特的IMU&#xff08;惯性测量单元&#xff09;技术&#xff0c;为聋哑人士的手语识别带来了革命性的突破。SignRing不仅极大地扩展了手语识别的词汇量&#xff0c;更提高了识别…

二维数组-----螺旋性矩阵输出

题目有点难&#xff0c;ok其实是很难。。。 观察样例输出&#xff0c;不难发现&#xff0c;螺旋数组中元素的递增轨迹为&#xff1a;右右右、下下下、左左左、上上上 简明为&#xff1a;右、下、左、上。可以设开始递增的元素1的位置为&#xff08;x&#xff0c;y)&#xff0c…

由跨域引发一些思考

由跨域引发一些思考 前言什么是跨域&#xff1f;为什么会产生跨域&#xff1f;跨域场景示例&#xff1a;跨域常见的解决方法&#xff1a;JSONP&#xff08;JSON with Padding&#xff09;CORS&#xff08;Cross-Origin Resource Sharing&#xff09;document.domain iframeloc…

AutoHotKey自动热键(二)中文版帮助手册下载和自定义一般键盘快捷键

所有的操作其实在开发者手册中已经交待完了,所以我们要使用中文的手册来进行使用 autohotkey1.1.15中文手册下载 好了,为什么有了中文手册,这里还要进行一些具体的介绍呢,就是为了让大家少踩坑,能够快速形成生产力 这里先讲一下自定义快捷键WIN键和ALT键和CTRL键和SHIFT键的组…

智慧的网络爬虫之CSS概述

智慧的网络爬虫之CSS概述 ​ CSS 是“Cascading Style Sheet”的缩写&#xff0c;中文意思为“层叠样式表”&#xff0c;用于描述网页的表现形式。如网页元素的位置、大小、颜色等。css的主要作用是定义网页的样式。 CSS样式 1. 行内样式 行内样式&#xff1a;直接定义在 HT…

深入理解Git:fetch与pull的区别与运用

在Git的版本控制世界中&#xff0c;fetch和pull是两个至关重要的命令&#xff0c;它们都与从远程仓库获取数据有关。然而&#xff0c;这两个命令在功能和用法上却存在着显著的差异。本文将详细解析fetch和pull的区别&#xff0c;以及它们在实际开发中的应用&#xff0c;帮助读者…

Qt 5.14.2+Android环境搭建

1. 安装QT5.14.2的过程中&#xff0c;选中套件&#xff08;kit&#xff09; qt for android。 如果已经安装了qt creator但没有安装该套件&#xff0c;可以找到在qt安装目录下的MaintenanceTool.exe&#xff0c;运行该程序添加套件。 2. 安装jdk8&#xff0c;android sdk&…

五分钟了解MQ消息集成

一、MQ消息集成的定义 MQ消息集成是通过消息中间件&#xff08;Message Queue&#xff09;实现的一种数据集成方式。它通过将数据发送到中间件中&#xff0c;再从中间件中接收数据&#xff0c;实现不同系统之间的数据交换。在MQ消息集成中&#xff0c;发送者和接收者之间不需要…

vue3.2及以上 父调子的方法defineExpose定义供父调用的方法及属性

1、定义子类LoginForm&#xff1a; function handleLogin(account, token) {console.log(account,token)}defineExpose({handleLogin,}); 2、父类调用子类组件 const loginFormRef ref(); <LoginForm ref"loginFormRef" />loginFormRef.value.handleLogin(…

代码随想录第38天|动态规划

1049. 最后一块石头的重量 II 参考 备注: 当物体容量也等同于价值时, 01背包问题的含义则是利用好最大的背包容量sum/2, 使得结果尽可能的接近或者小于 sum/2 等价: 尽可能的平分成相同的两堆, 其差则为结果, 比如 (abc)-d, (ac)-(bd) , 最终的结果是一堆减去另外一堆的和, 问…

Deep-LIBRA:一种用于可靠量化乳腺密度的人工智能方法,并在乳腺癌风险评估中进行了独立验证| 文献速递-深度学习自动化疾病检查

Title 题目 Deep-LIBRA: An artificial-intelligence method for robust quantification of breast density with independent validation in breast cancer risk assessment Deep-LIBRA&#xff1a;一种用于可靠量化乳腺密度的人工智能方法&#xff0c;并在乳腺癌风险评估中…

【LeetCode】每日一题:相交链表

给你两个单链表的头节点 headA 和 headB &#xff0c;请你找出并返回两个单链表相交的起始节点。如果两个链表不存在相交节点&#xff0c;返回 null 。 图示两个链表在节点 c1 开始相交&#xff1a; 题目数据 保证 整个链式结构中不存在环。 注意&#xff0c;函数返回结果后&am…

7/1 uart

uart4.c #include "uart4.h"//UART4_RX > PB2 //UART4_TX > PG11char rebuf[51] {0}; //rcc/gpio/uart4初始化 void hal_uart4_init() {/********RCC章节初始化*******///1.使能GPIOB组控制器 MP_AHB4ENSETR[1] 1RCC->MP_AHB4ENSETR | (0x1 << 1)…

【C++11:右值引用,列表初始化】

统一列表初始化&#xff1a; 构造函数的函数名与函数体之间增加一个列表&#xff0c;用于对成员初始化 在实例化对象时&#xff0c;支持单/多参数的隐式转化&#xff0c;同时也可以省略符号&#xff0c;让代码更简洁 右值的引用 左值&#xff1a; 左值与右值的重要区别就是能…

全国产化飞腾模块BIOS下修复系统启动文件

1、背景介绍 全国产飞腾模块采用麒麟信安操作系统&#xff0c;当系统下面的grub.cfg文件被用户误操作导致无法启动时&#xff0c;可以在BIOS下通过U盘中备份的grub.cfg替换硬盘上原来的grub.cfg文件&#xff0c;从而实现启动。 2、操作步骤 首先进入BIOS命令行模式&#xff…

Meta低头,库克认错,XR回归第一性原理

图片&#xff5c;Photo by Maxim Hopman on Unsplash ©自象限原创 作者丨罗辑 2024年&#xff0c;XR的故事应该怎么讲&#xff1f; 如果从数据上看&#xff0c;这应该是个沉重的话题。 根据 IDC 报告&#xff0c;2023 年全球 VR 市场出货量下滑了 10.7%。2024 年第一…