58同城算法工程师一面＆二面面试题

来源：投稿作者：LSC
编辑：学姐

一面 40min

1.Gbdt和xgboost的区别

XGBoost是对GBDT的改进和扩展，它提供了更高的效率、更好的性能、正则化技术、内置特征选择等功能。

(1)正则化:

GBDT使用基本的树模型，并在每一轮迭代中逐渐增加树的复杂性。它使用简单的正则化技术，如叶子节点的最小样本数限制，来防止过拟合。

XGBoost引入了正则化技术，包括L1和L2正则化，以减少过拟合风险。它还使用了二阶导数信息来提高训练的稳定性。

(2)高效性:

XGBoost通过多线程和分布式计算提供了更高的训练效率。它实现了高度优化的数据存储和计算，以减少内存使用和加速训练过程。

GBDT通常以串行方式训练，训练时间可能较长，特别是在处理大规模数据时。

(3)缺失值处理:

XGBoost能够自动处理缺失值，无需手动进行处理。

在GBDT中，需要在数据预处理阶段手动处理缺失值，通常通过填充或删除缺失值。

(4)内置特征选择:

XGBoost具有内置的特征选择功能，它可以估计每个特征的重要性，并根据其重要性进行特征选择。GBDT通常需要手动进行特征选择或依赖其他特征选择方法。

(5)求导优化:

GBDT只需要对目标函数求一阶导，xgboost要求二阶导。

2.Lstm的特点

(1)门控机制:

LSTM引入了门控机制，包括遗忘门、输入门和输出门，这些门控制着信息的流动和保存。遗忘门决定哪些信息应该被遗忘，输入门控制哪些信息应该被添加到记忆单元，输出门控制什么信息应该传递到下一个时间步。这种机制有助于控制信息的流动，提高了模型的训练效率。

(2)长期记忆:

LSTM的主要特点是能够捕捉和维护长期依赖关系，它在处理序列数据中表现出色。传统的RNN存在梯度消失问题，导致难以学习长序列的依赖关系，而LSTM通过设计具有记忆单元的结构来解决这个问题，允许信息在长时间内保持不变。

(3)平行化训练:

LSTM具有良好的并行性，可以加速训练过程，特别是在GPU上进行训练。这有助于处理大规模数据和加速深度学习模型的训练。

3.Transformer的最重要的特点，对比CNN的效果

最重要的特点是自注意力机制。

对比CNN，transformer更注重全局特征，特征之间能并行计算，CNN更注重局部特征，图像分类领域中，在图像数量充足的情况下，tranformer的效果通常比CNN好。

4.ReLU激活函数的优缺点，怎么改进

优点:

(1) 当特征值大于0时，可以避免梯度消失
(2)计算简单

缺点:

(1) 非零均值
(2)当特征值大量小于0时，可能引起梯度消失
(3)当特征值大于0时，非线性拟合能力可能下降

改进：改用Leaky ReLU函数

5.Sort Linux命令的使用

# file.txt
# int int string
1  2  str1
1  1  str2
2  2  str3# 按第一列的倒序，第二列的正序排序输出
2  2  str3
1  1  str2
1  2  str1答案: 
sort -r 1 -k 2 file.txt6.Coding  斐波那契数列
# 1 1 2 3 5 ... 
# input : n
# output: 第n位的值 
# n = 3,  => 3def func(n):if n == 0 or n == 1:return 1a, b = 1, 1for i in range(2, n+1):tmp = bb = a + ba = tmp
return b