上代码

import re
import requests
import pymysql# 定制请求头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'
}
# 用列表存储爬取下来编码和城市名
cites_codes = []# 爬取解析一个网页的函数
def parse_url(url):response = requests.get(url, headers=headers)text = response.content.decode('utf-8')# 先滤去后面六个，只留下第一个info = re.findall(r'<div class="conMidtab">.*?<div class="conMidtab" style="display:none;">',text,re.DOTALL)[0]# 获得我们要的信息infos = re.findall(r'<td width="83" height="23".*?<a .*?weather/(.*?)\.s.*?>(.*?)</a>', info, re.DOTALL)# 获取的信息遍历存入列表for i in infos:city_code = [i[1],i[0]]cites_codes.append(city_code)# 存储到数据库函数
def store_2_mysql():# 连接数据库conn = pymysql.connect(host='localhost', user='root',password='712688', database='test_demo', port=3306)cursor = conn.cursor()# 遍历列表存入数据库for i in cites_codes:sql = '''insert into city_code values(0,'%s','%s')''' % (i[0], i[1])cursor.execute(sql)# 提交conn.commit()conn.close()# 主函数遍历全部八个地区
def main():base_url = 'http://www.weather.com.cn/textFC/{}.shtml'cites = ['hb', 'db', 'hd', 'hz', 'hn', 'xb', 'xn', 'gat']# 获得每个地区的urlfor i in cites:url = base_url.format(i) # 开始爬取一个地区的信息parse_url(url)# 存储到数据库中store_2_mysql()if __name__ == '__main__':main()