👉博__主👈：米码收割机
👉技__能👈：C++/Python语言
👉公众号👈：测试开发自动化【获取源码+商业合作】
👉荣__誉👈：阿里云博客专家博主、51CTO技术博主
👉专__注👈：专注主流机器人、人工智能等相关领域的开发、测试技术。
系列文章目录
目录
- 系列文章目录
- 一、网页分析
- 导入模块
- 初始化CSV文件
- 爬取数据
- 设置请求头
- 发送请求并解析数据
- 正则表达式解析
- 写入excel文件
- 二、数据分析可视化
一、网页分析
爬取2345天气王网页的数据，进行数据分析可视化：
主要爬取了，主要包含日期、最高气温、最低气温、天气、风力风向等数据信息。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
这段Python代码主要用于从网站上抓取历史天气数据并保存到本地的CSV文件中。下面逐块解释每部分代码的功能：
导入模块
import re
import csv
import requests
re: 用于处理正则表达式，这在解析网页内容时非常有用。csv: 用于读写CSV文件，这里主要用于保存抓取的数据。requests: 用于发起网络请求，获取网页数据。
初始化CSV文件
with open('weather_data.csv', 'a', newline='', encoding='utf-8') as file:writer = csv.writer(file)writer.writerow(['日期', '最高温', '最低温', '天气', '风力风向'])file.close()
- 这部分代码打开（或创建）一个名为
weather_data.csv的文件，并设置为追加模式（'a'）。 - 用
csv.writer创建一个CSV写入器，然后写入表头，包括日期、最高温、最低温、天气和风力风向。 - 文件使用UTF-8编码，以支持中文字符。
newline=''用于防止在写入行之间产生额外的空行。
爬取数据
for i in range(2011, 2025):for j in range(1, 13):url = f"https://tiaxxxx.com"
- 使用双层循环遍历从2011年到2023年的每个月。
- 构造URL以根据年份和月份请求对应的历史天气数据。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
设置请求头
headers = { ... }
headers字典包含了众多HTTP头部信息，这些信息用于模拟浏览器请求，避免被服务器识别为爬虫。
发送请求并解析数据
res = requests.get(url=url, headers=headers)
text = res.json()['data'].replace('\n', '').replace(' ', '')
- 使用
requests.get向构造的URL发送请求，传入之前设置的headers。 - 从响应中提取JSON格式的数据，并进一步获取其中的
data字段。然后移除响应中的换行符和空格，方便后续的数据处理。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
正则表达式解析
if i <= 2015:pattern = r'<tr><td>(.*?)</td><tdstyle="[^>]*">(.*?)</td><tdstyle="[^>]*">(.*?)</td><td>(.*?)</td><td>(.*?)</td>'
else:pattern = r'<tr><td>(.*?)</td><tdstyle="[^>]*">(.*?)</td><tdstyle="[^>]*">(.*?)</td><td>(.*?)</td><td>(.*?)</td>'
- 根据不同的年份选择不同的正则表达式模式。尽管这里两个模式看起来一样，实际使用中可能有微小的差别。
- 正则表达式用于解析HTML中的表格数据。
写入excel文件
matches = re.findall(pattern, text, re.S)
with open('weather_data.csv', 'a', newline='', encoding='utf-8') as file:writer = csv.writer(file)for match in matches:writer.writerow(match)
re.findall使用先前定义的正则表达式模式从网页内容中提取数据。- 提取的每条数据作为一个元组存储在
matches中。 - 遍历
matches，将每个匹配项写入CSV文件中。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
二、数据分析可视化
- 饼状图（温度区间分布）：
- 这张饼状图展示了数据集中的最高温度分布在三个不同的温度区间（低温、中温、高温）中的比例。
- 通过这张图，我们可以快速了解大部分时间内最高温度主要集中在哪个区间。例如，如果大部分温度都在中温区间，这可能意味着该地区的气候较为温和。
- 饼图还可以帮助识别极端天气条件的频率，例如低温或高温天气的出现比例。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
- 柱状图（最高气温前10名）：
- 该柱状图显示了从15年间记录的最高温度的前10个最高值及其对应的日期。
- 这可以帮助我们识别特定年份中出现极端高温的具体日期，有助于分析可能的季节性高温模式或异常气候事件。
- 柱状图还可以用来评估最高温度的变化范围，了解这些极端高温事件之间的温度差异。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
- 散点图（所有温度散点图）：
- 散点图展示了整个时间段内所有记录的最高温和最低温数据点。
- 通过这种图表，我们可以观察到温度随时间的变化趋势，包括季节性变化和年度变化。
- 这张图还可以揭示温度波动的模式，比如某些特定月份或年份是否存在温度异常。
- 分析最高温和最低温之间的关系，可以帮助我们了解夜间和白天的温差，这对于评估日温差和潜在的农业或健康影响尤为重要。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
- 年度平均最高温和最低温变化：
- 该图展示了每年的平均最高温度和平均最低温度。
- 通过这张图，我们可以观察到每年的温度波动趋势，分析温度随时间的长期变化情况。
- 折线图可以揭示出温度随季节或年份变化的趋势，比如是否有逐年上升或下降的模式。
- 同时，图中也可能显示出特定年份的异常温度变化，这可能与特定的气候事件或环境因素有关。
- 通过同时展示每年的平均最高温和平均最低温，可以对比分析在同一年内温差的变化。
- 这种对比有助于了解不同季节之间的温差变化，特别是在考虑到气候变暖或冷却趋势的情况下。
👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈
