爬虫分析-基于Python的空气质量数据分析与实践

概要

  本篇文章利用了Python爬虫技术对空气质量网站的数据进行获取,获取之后把数据生成CSV格式的文件,然后再存入数据库方便保存。再从之前24小时的AQI(空气质量指数)的平均值中进行分析,把数据取出来后,对数据进行数据清洗,最后将数据提取出来做可视化的分析。
在对数据的获取的过程中,使用了Python的request去获取html的一个文本,然后利用正则表达式re库和beautifulSoup这两个库去对数据进行筛选,拿到自己需要的一些空气质量的数据,并且同时写入CSV文件。
  在对数据进行存储、分类时,利用了Python的sqlalchemy这个库,对写入CSV的数据去存进数据库,更简单直接的保存大群数据,然后再使用pandas这个库去读取数据库里面的数据,并且读取的数据可以直接去清洗、分类。
  在数据可视化的步骤中,则用matplotlib和pyecharts这两个库去将想要分析的数据进行可视化,绘制成条形图,方便比较各个城市的空气质量差异,将当天空气最好的前十五个城市可视化出来,并且通过K-means聚类算法等去分析城市的一些空气质量受到影响的原因,以及对应的治理措施。

关键词: Python;爬虫;数据分析;数据库;数据可视化

一、研究背景与意义

  随着经济的高速发展,空气质量这一生存的大问题显得越来越重要,我们以前发展太多重工业的时候,已经牺牲了很多的空气环境,到现在由于空气质量引发的一系列问题比比皆是,所以我们现在要注重空气的质量去保护环境。特别是现在网络飞速发展的时代,我们可以随时随地就能获取到各地的空气质量的信息,方便我们去了解各地的空气质量以及对空气质量进行及时的控制,让空气质量保持在一个比较良好的范围。大气污染状况是与我们每一个人的健康情况息息相关的,我们每一个人都有责任去保护我们的地球,因此普及一些空气污染的后果以及如何遏制这种提高空气质量具有重大意义。通过空气质量分析,可以使更多人了解大气污染重的地区以及原因,使大家增强环境保护意识,提高公众的科学素养,便于公众在线阅读及参与。收集全省各地市空气自动监测点位的实时发布数据,储存进空气质量搜集的数据库。这些数据不但可以呈现给用户们每个城市实时的一些空气质量信息,也可以把获取到的数据储存起来,方便以后去收集利用,还可以把这些数据给有关的保护环境的部门,作为整治空气环境的理由。所以对空气质量的关注是很有必要的。

二、功能性需求分析

  (1)空气质量数据的获取。这个功能部分主要是使用Python的requests库去获取pm25.in这个网站首页的整个网页代码,提取出首页的城市名字以及对应的子链接,子链接里面就是城市的详细AQI空气质量信息,通过爬虫再次爬取每个城市的链接,得到空气质量的数据,由于这个网站公布的是实时数据,所以需要爬取前24小时空气质量的AQI折线图,然后得到平均值就是这一天的空气质量的值。
(2)数据存储。这个功能是利用SQLAlchemy去把从网页获取到的空气质量数据存进数据库中,方便保存,相比于写进CSV文件,存进数据库能更加的方便利用,而且也不会因为操作失误使数据丢失。
(3)数据分析的结果。该功能主要是列出前十五个当天的空气质量好的城市排名以及空气质量差的城市,并结合一些地理分布的情况与算法分析的结果去总结规律。
数据处理工具与算法介绍
第4章 数据处理工具与算法介绍

Pandas 模块介绍

  Pandas是Python当中的一个拓展的库,Pandas里面包含了大量的标准数据类型并且提供了高效操作大型数据的工具,对于数据的处理,pandas可以做到非常的高效,并且可以与多种类库共同使用,对编程者非常友好。同时Pandas也提供了集中数据结构供使用者使用:
1. Series: 一维数组,类似于List列表的一种数据结构,但是Series与List有一些不同之处,就是Series只允许储存相同数据类型的数据,这样有利于内存分配同时提高运算效率。数据库中相同列的数据也是起着同样作用。
2. DataFrame: 二维数组,是一种表格型的数据结构,简单来说就是行与列都有一层的Series的数组,这样组成新的二维数组。当用户将所需要的数据写进Excel表格文件时,DataFrame这种数据结构可以很方便地利用CSV文件格式创建Excel表格,做到了与Excel表格基本没有任何的录入障碍。
3. Panel: 三维数组,同理可以理解为DataFrame之间的嵌套。
利用爬虫获取到空气质量的数据之后,可以同时将其写入已存在的CSV表格。同时还可以使用sqlalchemy去把CVS文件写入数据库,方便保存并且以防丢失。

SQLAlchemy模块简介及应用

  SQLAlchemy是Python的一种SQL工具包和对象关系映射器,是Python的一种ORM(Object Relationship Mapping)框架,而ORM是一种为了面向对象编程开发方法而产生的一种对象关系映射的工具,它的关系是指关系数据库,也就是数据可以保存在数据库当中。当生成一个对象时,对象可以从数据库当中获取持久化的数据,不像是我们运行一个程序,里面的变量参数只存在程序运行的时候,数据存储在数据库里是持久的,反过来,数据也可以存储在数据库当中。使用SQLAlchemy的时候,可以简化开发时候需要使用SQL语句这一步操作,可以直接思考他的代码逻辑,从而简化一些步骤,提高开发中的效率。SQLAlchemy提供了一种非常持久性的模式,用于数据库访问的时候,就显得非常的高效率。使用SQLAlchemy的优势是即使开发人员不熟悉数据库操作的语句,SQLAlchemy可以让开发人员直接使用对象操作,从而跳过数据库语句的操作,不用开发人员去查找数据库语句,提高了开发的效率。而其中也有它的缺点,使用SQLAlchemy的缺点是跳过了数据库语句操作之后,不容易进行数据库查询的优化,从而可能带来一些性能上、运行方面的损失。下面是SQLAlchemy的一些常用的参数:
1.create_engine:可以当作作为一个桥梁架起数据库与Python之间的沟通,使Python可以对数据库进行连接,里面的数据类型为字符串,用来表示连接的信息:’数据库类型+数据库驱动名称://用户名:密码@需要连接主机的ip(如果是本机则是localhost或者127.0.0.1):端口号/数据库名’
2.sessionmaker:生成一个数据库的会话类。这个类相当于一个数据库连接的session,向数据库申请一个会话,同时这个类还会记录一些查询的数据,并且可以控制执行SQL语句的时间。当用这个类拿到一个数据库返回的session之后,就可以用这个session对数据库进行增删改查。

关于Pyecharts

  Pyecharts是Python与Echarts交接而成,用于生成Echarts图表的一个类库。而Echarts是由百度研发,一个可以生成生动,直观,可以交互并且可以高度个性化定制的web数据可视化图表的可视化库。简单来说Echarts有着超越许多同行的一些优势,可视化出来的数据图十分的美观且炫酷。Pyecharts就是在Echarts的基础上的一个Python类库。值得注意的是,Pyecharts分为两个版本,一个v0.5x,另一个为v1,两个版本并不兼容,而且v0.5x仅仅支持Python2.7,Python3.4+,而v1的版本仅支持3.6+的版本,导入模块的方式也不完全相同,所以Python版本限制了Pyecharts的版本。Pyecharts的强大之处在于可以导入全国甚至全球的地图包,然后对其进行数据可视化,清楚的了解地区的特点。顺带一提,Pyecharts是Python的一个拓展库,需要用pip去自行下载。

K-means算法介绍

  K-means算法是一种基于坐标与距离的一种聚类算法,聚类算法就是将数据中分散的样本分类,将每个特征相似的样本都分为一组,在K-means算法中,这种组称为“簇”。算法原理是先在样本中做k个随机点,作为“簇”的中心点,然后计算样本到这些“簇”的距离,对于样本点,距离哪个“簇”最近,就归类在这个“簇”内,分完样本点后。继续在这些“簇”中重新选一个中心点,继续计算离中心点的距离,继续划分“簇”,直到中心点的变化很小为止。

三、项目的实现

  数据可视化是指利用图形、动画等更加形象的一些表达方式对数据进行体现,在如今的大数据时代,每秒钟就有无数条数据,而一条条的去看这些数据,不但枯燥,而且又难以记住,当使用了数据可视化,就能将数据以图形或者动画的方式呈现出来,到时候我们可以使用图形记忆去记住这些数据,而不是将数字去背下来,这样的数据更容易去使用和理解。
  现在数据可视化应用到许多方面,在新闻传播的行业中,数据可视化不但是一种非常合理的呈现方式,节省大家的理解,只需几秒钟就可以看懂图中的数据所想表达的意思,还是带有更强的互动性的一张信息图表,这就说明了数据可视化的化繁为简的一个优点,并且增加信息的可读性和趣味性。信息的表达形式和手中阅读信息时候的受欢迎度、记忆度和参与度存在一定的关系,可视化的叙事方式不仅降低了受众的获知知识的成本,而且提高了一些用户对于这些信息的记忆效率和给其他人分享的欲望,这就为数据的传播提供了非常良好的途径。有科学研究表明,注视记录长度与喜爱度之间存在非常正相关的关系。用视觉元素去快速抓住观众们的眼球,营造不同的兴趣点,这样来实现自己所喜欢的“悦读”方式,进而延长信息消费的过程,已然成为当下各类媒体争取受众的制胜之策。
  一般地,在人们对空气质量查看的过程中,会着重关注一些空气质量好的城市所处的位置、空气质量差的城市污染物的排放量、以及空气质量好的城市的排行。而且有些人们打算去某些城市旅游的,自己又不幸带有过敏性鼻炎,这些空气质量对他们来说影响更加的大,使他们不得不关注自己意向去到的城市的空气质量情况,以防患上更严重的呼吸类疾病。
  对于数据的可视化,本着浅显易懂的原则,本文对于以下若干问题做出了图标化处理,即进一步对所获取的数据进行可视化处理。
1.列出空气质量最好的前十五个城市
2.列出空气质量最坏的前十五个城市
3.以地区分析空气质量好的城市的一些分布特点
4.以地区分析空气质量差的城市的一些分布特点
5.将污染物占比进行可视化
6.使用K-means算法分析污染情况相似的城市
5.1 空气质量最好的前15个城市排名展示
根据从网上获取到24小时的空气质量数据的平均值,空气质量最好的前十五个城市如图5.1所示:
在这里插入图片描述

图5.1 空气质量最好的前十五个城市
图5.1中显示全国空气质量最好的前十五个城市,其中旅游胜地三亚高踞榜首,紧随其后的湛江、阳江两个城市也是旅游的大城市,有着非常丰富的水资源,绿化方面做得非常好,从整张图的角度看来,这15个城市都处于AQI值35以下,在空气质量的判断条件当中属于非常优秀的水平。从省份分析,在空气质量最好的前十五个城市当中,广东省所占据的城市比例最多,有湛江、阳江、茂名、汕尾、韶关五个城市,共占这十五个城市的三分之一,由地理环境所知,广东的水资源非常丰富,降雨量也非常多,表明空气质量受到水的影响非常大。从城市的发达程度看来,以上十五个城市全部位列三线城市及以下,空气好的原因可能为经济发展比不上一二线城市的水平,所以工业污染较少,在城市街道的出行车比较少,排放的废气少,使得空气维持在了一个较好的水平,在一定程度上说明了经济与环境的关系。

5.2 空气质量最差的前15个城市展示

根据从网上获取到24小时的空气质量数据的平均值,空气质量最差的前十五个城市如图5.2所示:
在这里插入图片描述

图5.2 空气质量差的前十五个城市
从区域角度分析,前五名空气差的城市都属于新疆维吾尔自治区,具体原因为沙尘暴的影响,因为新疆降雨量太少,导致沙尘容易扬起,到处都是颗粒物,并且在新疆有许多热电厂、煤化工厂、硅铁、石油化工厂、水泥厂等重污染的工厂,还有很多附属厂;加上其它燃煤锅炉、家里的燃煤炉子、在街边饭店的烤肉炉。数量惊人,外界环境的条件加上自己使用重污染的一些物资,导致了这些城市空气质量这么差。由数据可以知道,有三个属于新疆的城市达到了惊人的500AQI值,这个属于严重污染的范围,后面的几个城市污染程度也在150以上,都属于中度污染以上的级别。

5.3 以地区分析城市空气质量好的特点

由图5.3可知,空气质量好的地区大多数分布在空气湿度较高的地方比如:长江以南的城市和四川盆地,其中还有西部和东北部的丰水区。在长江以南的地方尤为密集。长江以南的地区主要以亚热带季风气候为主,降水量较多,空气湿润。主要发展轻工业,相对于重工业,轻工业的污染比较小。降水能够有效吸收、淋洗空气中的污染物。因此这些地区的空气的自我净化能力较强。
在这里插入图片描述

图5.3 空气质量最好的城市分布图

5.4 以地区分析城市空气质量差的特点

如图5.4所示,空气质量不好的地方多数分布在华北地区和新疆的荒漠地区。这些地区的主要特点是降水少,气候干燥。这些地区的气候是温带季风性气候和温带大陆性气候,降水少空气干燥,风沙比较多。因此这些地区的空气自我净化能力弱。由图所见,空气质量差的密集区在黄河中下游地区。这部分地区在冬天的时候燃煤供暖,会产生有害气体和粉尘,其次该地区是工业密集区,石油,煤化,冶金工业发达,人类活动和工业生产对空气质量影响大。
在这里插入图片描述

图5.4 空气质量差的城市分布图

5.5 污染物占比的可视化

图5.5是对存在污染物的城市进行归纳,然后将这些污染物的占比可视化出来。由图中我们可以看到,存在污染物的城市中,收到PM10影响的城市是最多的,其次是PM2.5,这两种颗粒物加起来占污染物的90%以上,说明当前要对空气质量的提高,仍需首要解决的还是颗粒物的问题。
在这里插入图片描述

图5.5 空气质量与污染物图

5.6 通过K-means聚类算法的分析结果

要使用K-means算法分析,首先要对爬取到的数据进行标准化,同比例缩小,使得特征相似的城市落入一个小的特定区间内,消除奇异样本的影响。标准化之后,就是将这些数据进行聚类算法计算,是它们特点相似的归为一类。具体流程图如5.6所示
在这里插入图片描述

图5.6 K-means计算的流程图
下面将着重分析受到污染的城市的“簇”。根据样本的标准,我把这些城市分为5个“簇”,如图5.7所示,右边是每个簇包含的城市数量。
在这里插入图片描述

图5.7 “簇”内城市的数量

四、总结

  主要实现了对pm25.in的城市空气质量和其污染物的搜集,并将其获取到的数据存储进入数据库。并且使用pandas模块去将这些数据从数据库中读取出来,然后使用matplolib和pyecharts进行可视化。在获取数据过程中,用了比较多的时间花在了获取整个网站的全部城市空气质量以及首要污染物的实时数据,并且在该网站的24小时的空气质量数据比较难以获取,难点主要在于对全天AQI的获取。我在这次项目中完成了以下的工作:
(1) 对空气质量网站的全部城市的空气质量进行了数据爬取,并且配置了数据库与Python进行连接,在这个过程中遇到了一些配置上的错误,后来发现需要下载pymysql的类库去制造一个依赖环境。
(2) 对获取到的城市空气质量数据存放进数据库并使用pandas取出来,方便可视化处理。对于存放到数据库的数据可视化,本篇文章使用了数据可视化工具matplolib和pyecharts进行数据排名展示和对数据的空间分布展示,并结合各城市的一些气候情况,污染物排放量,对这些城市的空气质量进行一些可视化分析和数据上的分析。
本次数据分析对多个城市进行分析后,在几个角度得到一些结论:
(1) 在展示的空气质量最好的15个城市中,广东的城市占了最大的一部分,而且这些城市大部分是水资源多的地区,有的沿海地区空气环境更好,而且这15个城市都是三线城市及以下的城市,说明水资源同样丰富的情况下,经济不太发达的城市要比发达的城市空气质量好。
(2) 在展示的空气质量最差的15个城市中,前五名空气差的城市都属于新疆维吾尔自治区,具体原因为沙尘暴的影响,因为新疆降雨量太少,导致沙尘容易扬起,到处都是颗粒物,并且根据一些地方的资料介绍,在新疆有许多热电厂、煤化工厂、硅铁、石油化工厂、水泥厂等重污染的工厂,还有很多其他污染严重的附属厂;加上其他家里用户所使用的燃煤锅炉、家里的燃煤炉子、在街边饭店的烤肉炉,这样的排放加上自然环境就导致了空气质量的恶劣。
(3) 从地理位置分布规律看,空气质量好的地区大多数分布在空气湿度较高的地方比如:长江以南的城市和四川盆地,其中还有西部和东北部的丰水区。在长江以南的地方尤为密集。长江以南的地区主要以亚热带季风气候为主,降水量较多,空气湿润。主要发展轻工业,相对于重工业,轻工业的污染比较小。降水能够有效吸收、淋洗空气中的污染物。因此这些地区的空气的自我净化能力较强。
(4) 从地里位置分布规律看,空气质量不好的地方多数分布在华北地区和新疆的荒漠地区。这些地区的主要特点是降水少,气候干燥。这些地区的气候是温带季风性气候和温带大陆性气候,降水少空气干燥,风沙比较多。因此这些地区的空气自我净化能力弱。由图所见,空气质量差的密集区在黄河中下游地区。这部分地区在冬天的时候燃煤供暖,会产生有害气体和粉尘,其次该地区是工业密集区,石油,煤化,冶金工业发达,人类活动和工业生产对空气质量影响大。
(5) 在首要污染物占比角度看,存在污染物的城市中,收到PM10影响的城市是最多的,其次是PM2.5,这两种颗粒物加起来占污染物的90%以上,说明当前要对空气质量的提高,仍需首要解决的还是颗粒物的问题。
(6)通过聚类分析算法的结果看,分成的五个聚类中,有三个聚类的空气质量是偏差的,而且这些聚类的污染物排放规律也不一样,可以通过聚类中存在的问题,对情况相似的城市进行污染物治理,增加治理的效率。

六、 目录

目 录
第1章 绪 论 1
1.1 课题的研究背景及意义 1
1.2 互联网数据及其分析的研究现状 1
1.3 论文主要研究内容及框架结构 2
第2章 需求分析 3
2.1 功能性需求分析 3
2.2 非功能性需求分析 3
第3章 介绍BeautifulSoup与爬虫的一些事项 4
3.1 BeautifulSoup简介 4
3.2 关于爬虫的一些注意事项以及对空气质量数据的搜集 4
3.2.1 区分恶意爬虫和普通爬虫 4
3.2.2 关于反爬虫的一些介绍 5
3.2.3 对空气质量以及对应城市数据的爬取 6
第4章 数据处理工具与算法介绍 9
4.1 Pandas 模块介绍 9
4.2 SQLAlchemy模块简介及应用 9
4.3 关于Pyecharts 10
4.4 K-means算法介绍 10
第5章 数据的可视化介绍及数据分析 11
5.1 空气质量最好的前15个城市排名展示 12
5.2 空气质量最差的前15个城市展示 12
5.3 以地区分析城市空气质量好的特点 13
5.4 以地区分析城市空气质量差的特点 14
5.5 污染物占比的可视化 15
5.6 通过K-means聚类算法的分析结果 15
第6章 总结与展望 19
6.1 总结 19
6.2 展望 20
参 考 文 献 21
致 谢 22
附 录 23

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/762380.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

第12篇:4线-2线普通编码器

Q:在数字系统中,用一个二进制代码表示特定信息称为编码,而具有编码功能的逻辑电路就称为编码器。本期我们学习实现4线-2线普通编码器。 A:基本原理:二进制编码器有n位输出,与个输入相对应。4线-2线普通编码…

mysql 如何设计分库分表

在MySQL中设计分库分表的方法通常涉及到水平拆分与垂直拆分两种主要方式。 水平拆分: 按照某一列进行水平拆分: 可以根据某一列(如用户ID、时间等)的取值范围将数据拆分到不同的数据库或表中。基于哈希值的水平拆分:…

银行OA系统|基于SpringBoot架构+ Mysql+Java+ B/S结构的银行OA系统设计与实现(可运行源码+数据库+设计文档)

推荐阅读100套最新项目 最新ssmjava项目文档视频演示可运行源码分享 最新jspjava项目文档视频演示可运行源码分享 最新Spring Boot项目文档视频演示可运行源码分享 2024年56套包含java,ssm,springboot的平台设计与实现项目系统开发资源(可…

Orange3数据预处理(行选择组件)

选择行 根据数据特征的条件选择数据实例。 输入 数据:输入数据集 输出 匹配数据:满足条件的实例 不匹配数据:不满足条件的实例 数据:带有额外列的数据,显示实例是否被选中 这个小部件根据用户…

如何使用Excel创建一个行政考勤表

在企业和机构中,行政考勤管理是一项重要的日常工作,它涉及到员工的出勤情况、请假记录、加班情况等。使用Excel创建一个行政考勤表可以帮助管理者有效地记录和跟踪员工的考勤情况,下面将详细介绍如何使用Excel创建一个行政考勤表。 第一部分&…

SpringMVC | SpringMVC中的 “JSON数据交互“ 和 “RESTful设计风格“

目录: 一、JSON 数据交互1.1 JSON概述1.2 JSON的“数据结构”对象结构数组结构 1.3 JSON的“数据转换”用 \<mvc:annotation-driven/>的方式 来“自动配置” MappingJackson2HttpMessageConverter转换器 (来完成JSON数据转换)用\<bean>标签方式的来“自行配置” JS…

【软考】生成树

目录 1. 概念2. 图解3. 例题3.1 例题1 1. 概念 1.对于有n个顶点的连通图&#xff0c;至少有n-1条边&#xff0c;而生成树中恰好有n-1条边2.连通图的生成树是该图的极小连通子图3.若在图的生成树中任意加一条边&#xff0c;则必然形成回路4.图的生成树不是唯一的5.从不同的顶点…

如何在Linux系统部署Dupal CMS结合内网穿透实现无公网IP访问web界面

文章目录 前言1. Docker安装Drupal2. 本地局域网访问3 . Linux 安装cpolar4. 配置Drupal公网访问地址5. 公网远程访问Drupal6. 固定Drupal 公网地址 正文开始前给大家推荐个网站&#xff0c;前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&a…

【OpenCV C++Python】(五)图像平滑(模糊)

文章目录 图像平滑均值滤波高斯滤波中值滤波双边滤波(Bilateral Filtering ) PythonC 图像线性平滑空间滤波&#xff08;加权均值滤波器&#xff0c;几何均值滤波&#xff0c;谐波均值滤波&#xff0c;逆谐波均值滤波&#xff09;&#xff0c;非线性平滑空间滤波&#xff08;中…

Linux下QT界面小程序开发

背景&#xff1a;需要在linux不同环境下可以测试我们的读卡器设备 搭建本地linux开发环境&#xff08;本来想VS里开发然后通过SSH的方式在linux下编译&#xff0c;但是工具链一直没搞起来&#xff0c;所以我是在ubuntu里安装的QT Creator工具直接开发的&#xff09;&#xff1b…

ARMday6作业

1&#xff0c;串口字符串收发现象实现图 2.串口控制灯亮灭 main.c #include "uart4.h"//封装延时函数 void delay(int ms) {int i,j;for(i0;i<ms;i){for(j0;j<2000;j){}} }int strcmp(char *a1,char *a2) {int i0;while(a1[i]a2[i]){if(a1[i]\0){break;} i;}…

C# 主窗体中显示子窗体(MDI)

1.示例代码&#xff0c;假如主窗体为MainForm,有三个子窗体分别是&#xff1a;Form1&#xff0c;Form2&#xff0c;Form3 public partial class MainForm : Form {public MainForm(){InitializeComponent();}Form1 form1 new Form1(); //子窗体1Form2 form2 new Form2(); //…

【地图】腾讯地图 - InfoWindow 自定义信息窗口内容时,内容 html 嵌套混乱问题

目录 需求描述问题问题代码页面展示 解决原因解决办法解决代码页面展示 代码汇总注 需求描述 腾讯地图上画点位&#xff0c;点击点位展示弹框信息 问题 问题代码 // 打开弹框 openInfoWindow(position, content) {this.infoWindow new TMap.InfoWindow({map: this.map,posit…

windowsVMware虚拟机中扩展linux磁盘空间

1.虚拟磁盘扩容 VM中&#xff0c;关闭linux虚拟机&#xff0c;直接编辑虚拟机-硬盘-扩展磁盘容量 2.通过Gparted工具进行LINUX系统磁盘分区 未分区挂载前可以看到/挂载点下空间为20G&#xff1a; 通过虚拟机-快照-拍摄快照&#xff0c;操作前可拍摄快照&#xff08;便于恢复之前…

FPGA高速接口的学习途径,全套课程

​FPGA高速接口有哪些学习途径&#xff0c;这里不得不提下我们宸极教育FPGA课程&#xff0c; FPGA课程5.0 版&#xff1a;Xilinx体系高速接口项目实操&#xff0c;全新升级&#xff0c;课程完全根据企业招聘要求&#xff0c;项目实操设置&#xff0c;适应目前市场的求职招聘要…

FastJson序列化隐藏特性

针对训练模型控制台的web后端维护&#xff0c;新增了一个int类型的maxTokenLimit字段&#xff0c;表示调用GPT模型请求允许的TokenSize上限值。后端添加好之后&#xff0c;数据库里面这个字段项没有填充数值&#xff0c;默认是空&#xff0c;所以理论上当maxTokenLimit字段为空…

半加器___

1.原理 2.代码 2.1 half_adder.v module half_adder (input wire in_1 ,input wire in_2 ,output wire sum ,output wire count );assign {count,sum}in_1in_2;endmodule 2.2 tb_half_adder.v timescale 1ns/1nsmodule tb_half_adder();reg in_1; reg in_2;wire su…

ThreaTrace复现记录

1. 环境配置 服务器环境 需要10.2的cuda版本 conda环境 包的版本&#xff1a; python 3.6.13 pytorch 1.9.1 torch-cluster 1.5.9 torch-scatter 2.0.9 torch-sparse 0.6.12 torch-spline-conv 1.2.1 torch-geometric 1.4.3 环境bug 这里环境搭建好以后&#xff0c;就可以正…

MySql实战--深入浅出索引(下)

在开始这篇文章之前&#xff0c;我们先来看一下这个问题&#xff1a; 在下面这个表T中&#xff0c;如果我执行 select * from T where k between 3 and 5&#xff0c;需要执行几次树的搜索操作&#xff0c;会扫描多少行&#xff1f; 下面是这个表的初始化语句。 图1 InnoDB的索…

【IEEE】Multimodal Machine Learning: A Survey and Taxonomy

不废话&#xff0c;先上思维导图&#xff0c;哈哈哈&#xff01; 论文题目Machine Learning: A Survey and Taxonomy作者Tadas Baltrusaitis , Chaitanya Ahuja , and Louis-Philippe Morency状态已读完会议或者期刊名称IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE IN…