这里写自定义目录标题
- 小工具写着玩
小工具写着玩
之前有一个小业务,需要进行批量邮箱协议群发,然后需要采集一些真实的邮箱数据,最后想了一下让用户自己留下的基本上都是真实的,tieba又属于一个流量比较大的地方,后来就写了一个小教本进行测试;
工具还可以进行继续的延伸,比如说批量采集帖子,或者说直接 输入某个贴吧名后,直接把这个吧里面的所有帖子都采集一次;目前贴吧
其实也有比较大的风控,所以cookie 需要自行去解决
import os
import re
import requests
import time
import urllib3
from bs4 import BeautifulSoup
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)#帖子请求
def get_tieba_url_request(url):headers = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7','Accept-Language':'zh-CN,zh;q=0.9','Connection':'keep-alive','Cookie':'XFI=a7d17700-8440-11ee-83ac-c1665e3fb88c; XFCS=5FE2CCE3B26175874395D9B57093E47CB9FCA2C663EE7C7C349D9D838F2993BF; XFT=NJTyvqxEhVRCgUAJ2+P0fuIaHO