数据分析相关知识整理_--秋招面试版

一、关于sql语句(常问)

1)sql写过的复杂的运算

聚合函数,case when then end语句进行条件运算,字符串的截取、替换,日期的运算,排名等等;行列转换;

eg:行列转换

SELECT userid,

SUM(CASE WHEN subject='语文' THEN score END) as '语文',

SUM(CASE WHEN subject='数学' THEN score END) as '数学',

SUM(CASE WHEN subject='英语' THEN score END) as '英语',

SUM(CASE WHEN subject='政治' THEN score END) as '政治'

FROM tb_score

GROUP BY userid

2)sql的逻辑执行顺序

From—on—join—where--group by—with—having—select—distinct—orderby

3)如何优化sql语句

1  避免 select *,只取需要的列;

2  连接列或where子句创建索引,提高读取速度;写的速度变慢;

3  Update不要写成delete+insert,功能相同但是性能差别很大;

4  减少数据类型的转换;

5  减少不必要的子查询和连接操作;如果要使用子查询,not in 、not exist改成left join写法,in 和 exist可以改写 inner join;

6   综合多个表的数据或连接多个表时可以考虑用临时表分布汇总结果;

7   不要对索引字段进行一些操作,函数、模糊查询、数据类型转换、数学运算,会失去索引的效果;

8   多表连接条件,on where order by(排序)

4)外连接、全连接、左连接、右连接的区别

INNER JOIN:返回两个表之间共同满足连接条件的行;交

Left join:左边表中的所有行,以及右边表中与左表中的行匹配的行;

Right join:右边表中的所有行,以及左边表中与右表中的行匹配的行

FULL OUTER JOIN:返回左表和右表中的所有行

取出A、B表连接之后A表中不符合条件的行

SELECT ### FROM A

Left join

SELECT ### FROM B

ON A.column1 = B.column2

Where B. column2 IS NULL

二、Hadoop、Spark和Hive

1)Hadoop

(核心:Hbase分布式数据库—-管理+MapReduce分布式计算框架+HDFS分布式文件系统存储);批处理框架,适用于大规模数据的离线处理;Java编程)

2)Spark

基于内存的并行计算框架(快),解决了HadoopMapReduce计算模型延迟过高的问题;

可以批处理、交互式处理、流处理,更加灵活地处理离线和实施任务;

多种编程语言;PythonJavaR等;

3)Hive:

数据仓库工具,允许用户查询和分析存储在Hadoop上的数据

三、数据仓库和数据库的区别

1)设计目标:前者支持数据分析和决策制定存储大量历史数据,后者用于管理和维护操作性数据

2)数据类型:前者多种维度,历史数据、汇总数据、维度数据和事实数据;后者主要包含事务性数据,用户信息、订单、交易信息等

3)数据结构:前者星型或雪花型数据模型,包括事实表和维度表,支持复杂的多维数据分析;后者通常是关系型数据模型,表格存储,表格通过关系链接

4)数据量:前者大规模,后者存储量级相对较小的数据集

5)更新频率:前者批处理,更新频率低;后者通常实施更新,适用交互性操作

四、数据库常见数据结构

1)关系型数据,表是基本数据单元,主键唯一标识,外键建立表之间的关联关系;

2)星形数据结构,事实表和维度表,事实表通常是一些指标,例如,营业额、库存量,维度表是描述事实表的信息,如时间、位置、产品;查询性能比较高,但因为只有一个维度无法处理复杂的多维关系,且维度表的数据冗余比较多;

3)雪花型数据结构,星型进一步规范化,维度表进一步分解成多个子维度表,层次结构,减少数据冗余处理多维数据关系,查询起来更复杂多表链接,没那么快

五、非结构化数据的处理和分析

1)数据收集(爬虫、抓取)

2)文本分析、图像处理、音频处理

3)数据转换(数据标准化、特征向量)

六、NLP一般步骤

1)收集和清洗文本数据,删除不需要的字符、停用词、标点符号

2)特征提取,向量化,TF-IDF,词嵌入、词袋模型

TF(t,d)= 词项 t在文档 d 中出现的次数/文档 d 中的总词项数

IDF(t)=log(文档集合的总文档数/包含词项 t 的文档数+1)   评价重要性

3)选择模型:svm、RNN、CNN等

4)训练和评估

七、评价分类常见的指标和公式

准确率=正确的样本数/总样本数

精确度= (真正例) / (真正例 + 假正例) ,预测为正中实际为正的比例

召回率= (真正例) / (真正例 + 假负例) ,实际为正中预测为正的比例

F1 分数(F1 Score),综合评价准确率和召回率=2(准确率*召回率)/准确率+召回率)

ROC 曲线:真正例率与假正例率之间的关系,值越大性能越好

PR 曲线:不同的分类阈值绘制精确度与召回率之间的关系图;AUC PR 曲线下的面积,用于衡量分类器在不同精确度和召回率下的性能

八、分类问题中样本类别不均衡怎么办

1)欠采样、过采样;

2)设置样本权重;

3)使用不同的指标评估(精确度、召回率、F1 分数、ROC-AUC等);

4)集成学习方法处理不均衡的问题

九、假设检验原理

原假设和备择假设,一般原假设没有显著差异,备择假设有显著差异;

基于样本数据计算统计量,设定显著性水平alpha,落在拒绝阈,拒绝原假设;

两类错误:

第一类,原假设为真,拒绝原假设,alpha越低,第一类风险越小;第二类风险越大

第二类,备择假设为真,但是接受原假设;

P值小于显著性水平,拒绝原假设,接受备择。

十、LSTM门控机制

1)遗忘门(Forget Gate):

遗忘门决定了在当前时间步骤应该保留多少过去的信息。它接收当前输入和上一个时间步骤的隐藏状态作为输入,并输出一个0到1之间的值,表示要保留的信息比例。具体来说,遗忘门的计算包括一个Sigmoid激活函数,它的输出乘以上一个时间步骤的细胞状态,以确定要保留的信息。

2)输入门(Input Gate):

输入门决定了要更新细胞状态的哪些部分。它接收当前输入和上一个时间步骤的隐藏状态作为输入,并输出一个0到1之间的值,表示每个部分的更新比例。输入门的计算包括一个Sigmoid激活函数,以确定要更新的部分,以及一个Tanh激活函数,用于生成新的候选值。

3)输出门(Output Gate):

输出门决定了当前时间步骤的隐藏状态应该是什么。它接收当前输入和上一个时间步骤的隐藏状态作为输入,并输出一个0到1之间的值,表示要输出的信息比例。输出门的计算包括一个Sigmoid激活函数,以确定要输出的部分,以及一个Tanh激活函数,用于生成最终的隐藏状态。

十一、Pyecharts的一些可视化函数

Liquid、gauge、Funnel、heatmap、wordcloud、Bar条形图、Line折线图、scatter散点图、EffectScatter涟漪散点图、boxplot箱型图、Pie饼图、Radar雷达图

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/133152.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C++】构造函数和析构函数第三部分(各种构造函数调用规则、多个对象的构造和析构、初始化列表)--- 2023.11.6

目录 各种构造函数的调用规则对象以值的方式给函数参数用一个已有的对象去初始化另一个对象函数的局部对象以值的方式从函数返回调用规则1调用规则2 多个对象的构造和析构初始化列表结束语 各种构造函数的调用规则 对象以值的方式给函数参数 实例: class Maker {…

Linux上编译sqlite3库出现undefined reference to `sqlite3_column_table_name‘

作者:朱金灿 来源:clever101的专栏 为什么大多数人学不会人工智能编程?>>> 在Ubuntu 18上编译sqlite3库后在运行程序时出现undefined reference to sqlite3_column_table_name’的错误。网上的说法是说缺少SQLITE_ENABLE_COLUMN_M…

libevent

libevent 库概念和特点 开源。精简。跨平台(Windows、Linux、maxos、unix)。专注于网络通信(不一定非用在网络当中,比如下面的读写管道)。 libevent特性:基于"事件",面向“文件描述符…

软件开发项目文档系列之十如何撰写测试用例

目录 1 概述1.1 编写目的1.2 定义1.3 使用范围1.4 参考资料1.5 术语定义 2 测试用例2.1 功能测试2.1.1 用户登录功能2.1.2 商品搜索功能 2.2 性能测试2.2.1 网站响应时间2.2.2 并发用户测试 附件: 测试用例撰写的要素和注意事项附件1 测试用例要素附件2 测试用例的注…

SpringBoot启动流程简介

一、Application启动类中main方法启动 SpringBootApplication(scanBasePackages {"com.springboot.lean"}) public class Application {public static void main(String[] args) {SpringApplication.run(Application.class, args);} } 1.1 SpringBootApplication注…

Maven中<scope>中等级的区别

标签指定了依赖项的级别吗&#xff0c;默认是compile &#xff08;编译&#xff09;。意味着依赖项将会在编译时和运行时都被包含在项目中 <scope> 标签指定了依赖项的级别为 import 。除了 import 级别&#xff0c;Maven还支持以下几种级别&#xff1a; compile &#x…

【鸿蒙软件开发】ArkUI容器组件之Grid(网格布局)

文章目录 前言一、Grid1.1 子组件GridItem是什么子组件接口属性事件示例代码 1.2 接口参数 1.3 属性1.4 Grid的几种布局模式1.5 GridDirection枚举说明1.6事件ItemDragInfo对象说明 1.7 示例代码 总结 前言 Grid容器组件&#xff1a;网格容器&#xff0c;由“行”和“列”分割…

【flask跨域问题】解决它

大概7-8年前&#xff0c;前后端还没开始分离或者刚开始分离的之前&#xff0c;跨域问题很多。 后来我就没在遇到过了&#xff0c;这次做一个小项目&#xff0c;又遇到了&#xff0c;记录下。 现在前端的脚手架都自己能解决了。 1. 跨域 是因为出于浏览器的同源策略限制。同源…

【数据结构初级(2)】单链表的基本操作和实现

文章目录 Ⅰ 概念及结构1. 单链表的概念2. 单链表的结构 Ⅱ 基本操作实现1. 定义单链表结点2. 创建新结点3. 单链表打印4. 单链表尾插5. 单链表头插6. 单链表尾删7. 单链表头删8. 单链表查找9. 在指定 pos 位置前插入结点10. 删除指定 pos 位置的结点11. 单链表销毁 本章实现的…

轻量封装WebGPU渲染系统示例<18>- 材质多pass实现GPU Compute计算(源码)

当前示例源码github地址: https://github.com/vilyLei/voxwebgpu/blob/feature/rendering/src/voxgpu/sample/ComputeMaterialTest.ts 系统特性: 1. 用户态与系统态隔离。 细节请见&#xff1a;引擎系统设计思路 - 用户态与系统态隔离-CSDN博客 2. 高频调用与低频调用隔离。…

P02项目(学习)

★ P02项目 项目描述&#xff1a;安全操作项目旨在提高医疗设备的安全性&#xff0c;特别是在医生离开操作屏幕时&#xff0c;以减少非授权人员的误操作风险。为实现这一目标&#xff0c;我们采用多层次的保护措施&#xff0c;包括人脸识别、姿势检测以及二维码识别等技术。这些…

AD9371 官方例程 NO-OS 主函数 headless 梳理(二)

AD9371 系列快速入口 AD9371ZCU102 移植到 ZCU106 &#xff1a; AD9371 官方例程构建及单音信号收发 ad9371_tx_jesd -->util_ad9371_xcvr接口映射&#xff1a; AD9371 官方例程之 tx_jesd 与 xcvr接口映射 AD9371 官方例程 时钟间的关系与生成 &#xff1a; AD9371 官方…

数据结构-邻接表广度优先搜索(C语言版)

对于一个有向图无向图&#xff0c;我们下面介绍第二种遍历方式。 广度优先搜索&#xff0c;即优先对同一层的顶点进行遍历。 如下图所示&#xff1a; 该例子&#xff0c;我们有六个顶点&#xff0c; 十条边。 对于广度优先搜索&#xff0c;我们先搜索a&#xff0c;再搜索abc…

5、Python中的变量和表达式:变量的定义、赋值和数据类型转换

文章目录 Python中的变量和表达式:变量的定义、赋值和数据类型转换变量的定义变量的赋值数据类型转换注意事项表达式总结Python中的变量和表达式:变量的定义、赋值和数据类型转换 Python是一种高级编程语言,以其简洁明了的语法和强大的功能而闻名。在Python编程中,变量和表…

力扣第121题 买卖股票的最佳时机 c++ 动态规划解法 熟练dp思维 之简单题 附Java代码

题目 &#xff08;在我以前有贪心解法&#xff0c;也可以去参考参考&#xff09; 贪心解法 股票问题https://blog.csdn.net/jgk666666/article/details/133978629 121. 买卖股票的最佳时机 简单 相关标签 数组 动态规划 给定一个数组 prices &#xff0c;它的第 i 个元…

Java并发面试题知识点总结(中篇)

大家好&#xff0c;我是栗筝i&#xff0c;从 2022 年 10 月份开始&#xff0c;我便开始致力于对 Java 技术栈进行全面而细致的梳理。这一过程&#xff0c;不仅是对我个人学习历程的回顾和总结&#xff0c;更是希望能够为各位提供一份参考。因此得到了很多读者的正面反馈。 而在…

NVMe FDP会被广泛使用吗?

文章开头&#xff0c;我们需要先了解固态硬盘的读写机制。我们知道&#xff0c;固态硬盘的存储单元是由闪存颗粒组成的&#xff0c;无法实现物理性的数据覆盖&#xff0c;只能擦除然后写入&#xff0c;重复这一过程。因而&#xff0c;我们可以想象得到&#xff0c;在实际读写过…

Mac VsCode g++编译报错:不支持C++11语法解决

编译运行时报错&#xff1a; [Running] cd “/Users/yiran/Documents/vs_projects/c/” && g 1116.cpp -o 1116 && "/Users/yiran/Documents/vs_projects/c/"1116 1116.cpp:28:22: warning: range-based for loop is a C11 extension [-Wc11-extensi…

Maven3.9.1安装及环境变量配置

一、Maven的下载与安装 maven各版本下载地址 打开链接后自行选择对应版本 下载完成后解压安装,最好别选择c盘,安装目录路径等使用英文,避免产生其他问题 我这里选择的是D盘 二、Maven的环境变量配置 2.1、右键点击此电脑选择属性&#xff0c;点击高级系统设置&#xff0c;点…

jenkins结合k8s部署动态slave

1、完成k8s连接 在完成jenkins的部署后现安装kubernets的插件 如果jenkins 是部署在k8s集群中只需要填写一下 如果是非本集群的部署则需要填写证书等 cat ./config echo ‘certificate-authority-data-value’ | base64 -d > ./ca.crt echo ‘client-certificate-data’ |…