import re
import requests# 伪装头部，反爬
headers = {'Host': 'm.weibo.cn','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36','X-Requested-With': 'XMLHttpRequest'
}
# 目标微博用户地址
url = "https://m.weibo.cn/api/container/getIndex?type=uid&value=1182391231&containerid=1076031182391231"
response = requests.get(url, headers=headers)
# 返回response为json格式
weibo_data = response.json()
for mblog_data in weibo_data['data']['cards']:try:# 获取微博文本内容content_data = mblog_data['mblog']['text']# 过滤特殊符号p = re.compile(r'(<span.*>.*</span>)*(<a.*>.*</ a>)?')content_data = re.sub('[^\u4e00-\u9fa5]', '', content_data)content_data = p.sub(r'', content_data)# 获取微博发布时间time_data = mblog_data['mblog']['created_at']print(content_data)print(time_data)except:pass

import time
from selenium import webdriver
import csv# 声明浏览器对象，使用Chromedriver
option = webdriver.ChromeOptions()
# “有头”模式，即可以看到浏览器界面，若要隐藏浏览器，可设置为 "headless"
option.add_argument('head')
# 得到操作对象
driver = webdriver.Chrome(options=option)
# 模拟浏览器打开教育部官网信息检索页
driver.get('https://hudong.moe.gov.cn/sousuo/web/search?channelid=244081')# 找到搜索栏文字输入框，输入搜索关键字
driver.find_element_by_id('searchword').send_keys("立德树人")
# 找到“搜索”按钮，模拟点击
driver.find_element_by_id('wasSubmit').click()
# 停顿3秒，留足页面加载时间
time.sleep(3)# 创建/打开一个csv文件
f = open('立德树人.csv', 'w', encoding='utf-8', newline='')
# 基于文件对象构建csv写入对象
csv_writer = csv.writer(f)
# 构建csv列表头
csv_writer.writerow(["标题", "发布时间"])# 第一次for循环，共有330页数据
for page in range(330):# 第二次for循环，每页共有20条信息for i in range(20):# i的输出值是0到19，记得加1num = str(i + 1)# 用xpath获取每一篇文章标题、发布时间title = driver.find_element_by_xpath('/html/body/div[1]/div/div[6]/div[2]/div[4]/dl[ ' + num + ' ]/dt/h2/a').textdate = driver.find_element_by_xpath('/html/body/div[1]/div/div[6]/div[2]/div[4]/dl[' + num + ']/dd[2]').text# 将数据写入到csv文件中csv_writer.writerow([title, date])# 显示数据print(title)print(date)# 提示爬取进度print("---------第" + str(page+1) + "页爬取完毕---------")# 找到“下一页”按钮，模拟点击driver.find_element_by_xpath('/html/body/div[1]/div/div[6]/div[2]/div[5]/div/ul/li[7]/a').click()
# 关闭csv文件
f.close()