自然语言处理期末试题汇总

建议自己做,写完再来对答案。答案可能存在极小部分错误,不保证一定正确。

一、选择题

1-10、C A D B D B C D A A

11-20、A A A C A B D B B A

21-30、B C C D D A C A C B

31-40、B B B C D A B B A A

41-50、B D B C A B B B B C

51-60、A D D B B C B B C A

61-70、C B A B B B D B C B

71-78、B B A D B A C B

二、判断题

1-10、F F T F F T T F F F

11-20、F T T F T F F F T T

21-27、F T F F T T F

三、填空题

1-5、搜索引擎  输出门  Word2Vec  分布式  词

6-10、pytorch  LSTM  分布式  深度学习  残差连接

11-15、GloVe  多头注意力  人名  细胞  多标签分类

16-20、join  正面  文本摘要  共现矩阵  生成

21-25、numpy.dot()  RNN  二元模型  余弦相似度  位置编码

26-30、长距离依赖  TF-IDF  自注意力机制  稀疏向量表示  SGD

31-35、BERT  多头注意力机制  Hugging Face  精确  softmax(Qi*Ki^T)*Vi

36-40、TensorFlow  一  隐状态  三元模型  门控

41-45、相似性  目标词  BART  模型库(Hub库)    多分类

46-47、精确模式  召回率  

四、简答题

1、(1)分词:句子1:“我 喜欢 学习 自然语言处理”;句子2:“自然语言处理 是 我 喜欢 的 课程”

构建词典:词典:{"我", "喜欢", "学习", "自然语言处理"} 

编码:"我" -> [1, 0, 0, 0, 0]  "学习" -> [0, 0, 1, 0]  "喜欢" -> [0, 1, 0, 0]  "自然语言处理"-> [0, 0, 0, 1]

生成特征向量:我喜欢学习自然语言处理:[1,1,1,1]

2、自注意机制的核心公式为:

自注意力机制的计算步骤为(1)初始化(2)计算相似度(3)归一化(4)加权求和

3、自然语言处理有两个核心方向:自然语言理解(NLU)和自然语言生成(NLG)。 (2分)

(1)自然语言理解

自然语言理解的目标是使计算机能够“理解”人类的语言,主要集中于解析、分析

和提取文本中的信息。NLU技术通常用于语义分析、信息提取、情感分析、命名实体识别。

(2)自然语言生成

自然语言生成的目标是使计算机能够生成具有逻辑和语法正确的自然语言文本。NLG技术通常用于文本摘要、对话系统、文本生成。

4、BERT模型在预训练过程中采用了掩码语言模型(MLM)和下一句预测(NSP)两种

策略。 

(1)掩蔽语言模型(MLM)在训练过程中,BERT随机掩蔽输入句子中的某些单词(通常是15%),然后要求模型预测这些被掩蔽的单词。此策略使模型能够从上下文中学习词的表示,而不仅仅是从左到右或从右到左的顺序。这种双向的训练方式使BERT能够更好地理解上下文。

(2)BERT还通过下一句预测(NSP)这一策略训练模型理解句子之间的关系。在训练时,模型接受成对的句子,任务是判断第二个句子是否为第一个句子的后续句子。这个任务有助于模型学习句子间的逻辑关系,提升了模型在句子级任务(如问答和自然语言推理)上的表现。

 5、该题答案不唯一,只要最终值z=w1*x1+w2*x2与θ的比较和对应真值表的值一致均正确。

6、CBOW(Continuous Bag of Words)和Skip-gram  

相同点:(1)两者都是基于神经网络的模型,通过大规模的文本数据训练,学习到词语的词向量。(2)都使用窗口大小来定义上下文,目标是捕捉词与词之间的关系和相似性。

不同点:(1)目标不同:CBOW 通过上下文预测目标词, Skip-gram 通过目标词预测上下文。(2)计算复杂度:在训练时,Skip-gram 适合于低频词,而 CBOW 适合于高频词。Skip-gram 对低频词的学习效果更好,但计算开销较大;而 CBOW 对高频词的学习效果更好。

 7、(1)遗忘门决定哪些信息将被丢弃;

(2)输入门决定哪些信息将被添加到细胞状态;

(3)输出门决定最终的隐藏状态。

8、(1)输入表示 (2)计算注意力得分(3)应用softmax函数(4)加权和(5)输出

9、TF-IDF(Term Frequency-Inverse Document Frequency)工作原理分为两部分:TF(Term Frequency):表示某个词在文档中出现的频率,这部分反映了词在特定文档中的重要性,频率越高,重要性越大。

IDF(Inverse Document Frequency):衡量某个词在整个文档集合中的重要性。IDF值越高,说明该词越少见,具有更高的区分度。

10、(1Sigmoid 激活函数优点:输出范围在 (0, 1),适合处理二分类问题。具有平滑的导数,便于梯度计算。缺点:容易导致梯度消失(vanishing gradient)问题,尤其在深层网络中。输出不是零均值,可能导致训练过程中的不稳定。

2ReLU(Rectified Linear Unit)激活函数优点:计算简单,训练速度快。有效缓解梯度消失问题,使得深层网络能够更快地收敛。缺点:在训练过程中,某些神经元可能永远不被激活(dying ReLU问题),导致信息损失。

3Tanh 激活函数优点:输出范围在 (-1, 1),有助于数据中心化,通常收敛速度比Sigmoid快。相对于Sigmoid,Tanh函数的梯度较大,缓解了梯度消失问题。缺点:仍然存在梯度消失问题,尤其在深层网络中。计算相对复杂,速度比ReLU慢。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/888049.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

腾讯微众银行大数据面试题(包含数据分析/挖掘方向)面试题及参考答案

为什么喜欢使用 XGBoost,XGBoost 的主要优势有哪些? XGBoost 是一个优化的分布式梯度增强库,在数据科学和机器学习领域应用广泛,深受喜爱,原因主要在于其众多突出优势。 首先,它的精度高,在许多机器学习竞赛和实际应用中,XGBoost 都展现出卓越的预测准确性。其基于决策…

深度学习——激活函数

一、人工神经元 1.1 构建人工神经元 人工神经元接受多个输入信息,对它们进行加权求和,再经过激活函数处理,最后将这个结果输出。 1.2 组成部分 输入(Inputs): 代表输入数据,通常用向量表示,每…

新型大语言模型的预训练与后训练范式,Meta的Llama 3.1语言模型

前言:大型语言模型(LLMs)的发展历程可以说是非常长,从早期的GPT模型一路走到了今天这些复杂的、公开权重的大型语言模型。最初,LLM的训练过程只关注预训练,但后来逐步扩展到了包括预训练和后训练在内的完整…

[js] 函数柯里化

面试题:实现一个add方法,使计算结果能够满足如下预期: add(1)(2)(3) 6; add(1, 2, 3)(4) 10; add(1)(2)(3)(4)(5) 15; // 保存不定长参数 let nums []; function add(...args) { // 往数组中插入不定长参数nums.push(...args)// 判断参数…

51单片机从入门到精通:理论与实践指南常用资源篇(六)

很高兴看到大家都坚持下来了,学完了51单片机,接下来两天我会给大家两/三个案例,大家可以看看。 终点并非意味着结束,而是新的开始。这次成功的经验将成为宝贵的财富,激励着我们在未来的人生道路上继续勇往直前。它教会…

git rebase-优雅合并与修改提交

文章目录 简介rebase用于合并使用rebase修改提交cherry-pick 简介 在Git核心概念图例与最常用内容操作(reset、diff、restore、stash、reflog、cherry-pick)中我们已经介绍了git的最常用实用的命令。 在上面说的那篇文章中,我们只是简单提了一下rebase。 是因为r…

音视频流媒体直播/点播系统EasyDSS互联网视频云平台介绍

随着互联网技术的飞速发展,音视频流媒体直播已成为现代社会信息传递与娱乐消费的重要组成部分。在这样的背景下,EasyDSS互联网视频云平台应运而生,它以高效、稳定、便捷的特性,为音视频流媒体直播领域带来了全新的解决方案。 1、产…

序列化与反序列化

序列化是将对象转换为可被存储或传输的格式,例如将对象转换为字节流或字符串。序列化的过程可以将对象的状态保存下来,以便在需要时可以重新创建对象。 反序列化则是将序列化的对象转换回原始的对象形式,以便可以使用和操作这些对象。 序列…

python3 自动更新的缓存类

这个类会在后台自动更新缓存数据,你只需要调用方法来获取数据即可。 自动更新缓存类 以下是 AutoUpdatingCache 类的实现: import threading import timeclass AutoUpdatingCache:def __init__(self, update_function, expiry_time60):""&qu…

HarmonyOS4+NEXT星河版入门与项目实战(22)------动画(属性动画与显示动画)

文章目录 1、属性动画图解2、案例实现-小鱼移动游戏1、代码实现2、代码解释3、资源图片4、实现效果3、显示动画4、案例修改-显示动画5、总结1、属性动画图解 这里我们用一张完整的图来汇整属性动画的用法格式和使用的主要属性范围,如下所示: 2、案例实现-小鱼移动游戏 1、代…

Docker扩容操作(docker总是空间不足)

Docker扩容操作(docker总是空间不足) 1、df二连,一共也就70g,总是占满93%以上。所以需要移动到其他目录上 查看docker镜像和容器存储目录的空间大小 du -sh /var/lib/docker/2、停止docker服务 systemctl stop docker3、首先创建目录并迁移 # 首先创…

储能系统中的PCS

PCS(Power Conversion System,储能变流器)是连接储能电池和电网之间的核心设备,在储能系统中扮演着至关重要的角色,主要负责实现直流电和交流电之间的双向转换。 主要功能 直流-交流转换:对于使用电池作为…

基于大数据python 豆果美食推荐数据可视化系统(源码+LW+部署讲解+数据库+ppt)

!!!!!!!!! 很对人不知道选题怎么选 不清楚自己适合做哪块内容 都可以免费来问我 避免后期給自己答辩找麻烦 增加难度(部分学校只有一次答辩机会 没弄好就延迟…

坐标系变换

1 Clark变换 三相对称电压表达式为: 将三相电压用相量的形式表达出来,并用欧拉公式(eix(cosxisinx))写成三角函数的形式: 同时,三相电压矢量空间合成向量可表示为: 三相电压合成矢量幅值为相电…

008静态路由-特定主机路由

按照如上配置,用192.168.0.1 电脑ping 192.168.1.1 发现能够ping通 用192.168.0.1 电脑ping 192.168.2.1 发现不能ping通 这是因为192.168.0.1 和 192.168.1.1 使用的是同一个路由器R1。 192.168.0.1 和 192.168.2.1 通信需要先经过R1,再经过R2 &#xf…

用c语言完成俄罗斯方块小游戏

用c语言完成俄罗斯方块小游戏 这估计是你在编程学习过程中的第一个小游戏开发,怎么说呢,在这里只针对刚学程序设计的学生,就是说刚接触C语言没多久,有一点功底的学生看看,简陋的代码,简陋的实现&#xff0…

数据迁移调研

需求背景:在项目迭代过程中,需要将一个数据库的数据迁移到另外一个数据库,包括分库分表的mysql数据库的数据异构到ES,来支持大数据量的查询,以及从一个Mysql数据库迁移到另外一个Mysql数据库的操作。多个业务的数据在一…

深度学习:梯度下降法

损失函数 L:衡量单一训练样例的效果。 成本函数 J:用于衡量 w 和 b 的效果。 如何使用梯度下降法来训练或学习训练集上的参数w和b ? 成本函数J是参数w和b的函数,它被定义为平均值; 损失函数L可以衡量你的算法效果&a…

python基础(二)

函数 函数定义 函数是组织好的,可重复使用的,用来实现单一或相关联功能的代码段。 python函数定义规则: def my_max(a,b): #定义函数用def关键字开头,函数名-》my_max ()定义参数 if a>b: #函数体以&#xff1a…

镜像神经元系统,人工智能的等效设计

镜像神经元机制等效于人工智能对输入数据系统上下文进行编码的系统。 生物神经系统的镜像神经元编码系统,对生物感知到的一系列行为序列的整体模式进行编码。生物神经系统在感知到行为序列中的某个特征触发模式时,触发神经系统输出整体模式的序列集合的…