python爬虫实现简单的代理ip池

python爬虫实现简单的代理ip池

我们在普通的爬虫过程中经常遇到一些网站对ip进行封锁的

下面演示一下普通的爬虫程序

使用requests.get爬取数据

这段代码是爬取豆瓣排行榜的数据，使用f12来查看请求的url和数据格式
在这里插入图片描述
在这里插入图片描述
代码

def requestData():# 爬取数据的urlurl: str = "https://movie.douban.com/j/chart/top_list";# 拼接url的请求参数,根据查看记录可以看到，start是页码params: dict = {"type": 24,"start": 0,"limit": 20,"interval_id": "100:90","action": ""}# 请求头headers: dict = {"Cookie": 'bid=E_4gLcYLK28; douban-fav-remind=1; _pk_id.100001.4cf6=356001ac7c27c8a7.1721138006.; __yadk_uid=3UpO8BdyzrKbVCb1NOAtbGumsp4WCXwl; __utmz=30149280.1721147606.4.2.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __utmz=223695111.1721147606.3.2.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); ll="118281"; _vwo_uuid_v2=DD3C30CAFFD881E01CA061E73D9968226|23b8625e4550d2e13d1dacf343f40f5d; __utma=30149280.457246694.1704531990.1721147606.1721223349.5; __utmc=30149280; __utma=223695111.1791837078.1721138006.1721147606.1721223349.4; __utmb=223695111.0.10.1721223349; __utmc=223695111; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1721223349%2C%22https%3A%2F%2Fwww.google.com%2F%22%5D; _pk_ses.100001.4cf6=1; ap_v=0,6.0; __utmt=1; __utmb=30149280.1.10.1721223349',"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0"}# 循环100次来获取数据for i in range(1000):params["start"] = 20 * i;try:data = requests.get(url, params=params, headers=headers);jsonData = data.json();for item in jsonData:print("标题：{} 评分：{}".format(item["title"], item["score"]))except Exception as e:pass;

请求头中的User-Agent是模仿浏览器，告诉请求的地址，我们也是浏览器的请求，这个是可以针对一些低级的反爬做的一些措施，Cookie就是身份验证，要跟服务器说明我们的身份，也是针对一些低级的反爬做的一些措施

for i in range(1000):params["start"] = 20 * i;try:data = requests.get(url, params=params, headers=headers);jsonData = data.json();for item in jsonData:print("标题：{} 评分：{}".format(item["title"], item["score"]))except Exception as e:pass;

这里加了try except 这个是为了防止爬虫失败导致后面的数据没有进行爬取到

 jsonData = data.json();for item in jsonData:print("标题：{} 评分：{}".format(item["title"], item["score"]))

这一段就是拿出爬取的json格式的数据，进行打印，这里也可以写如excel也可以写进数据库，因为我不需要那些数据，所以就做了简单的打印，查看爬取的数据

以上这段代码就是简单的爬虫，但是这种简单的爬虫，很容易遇到ip反爬，下面就演示简单的ip代理池爬虫

def requestDataIp():# 爬取数据的urlurl: str = "https://movie.douban.com/j/chart/top_list";# 拼接url的请求参数,根据查看记录可以看到，start是页码params: dict = {"type": 24,"start": 0,"limit": 20,"interval_id": "100:90","action": ""}# 请求头headers: dict = {"Cookie": 'bid=E_4gLcYLK28; douban-fav-remind=1; _pk_id.100001.4cf6=356001ac7c27c8a7.1721138006.; __yadk_uid=3UpO8BdyzrKbVCb1NOAtbGumsp4WCXwl; __utmz=30149280.1721147606.4.2.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __utmz=223695111.1721147606.3.2.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); ll="118281"; _vwo_uuid_v2=DD3C30CAFFD881E01CA061E73D9968226|23b8625e4550d2e13d1dacf343f40f5d; __utma=30149280.457246694.1704531990.1721147606.1721223349.5; __utmc=30149280; __utma=223695111.1791837078.1721138006.1721147606.1721223349.4; __utmb=223695111.0.10.1721223349; __utmc=223695111; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1721223349%2C%22https%3A%2F%2Fwww.google.com%2F%22%5D; _pk_ses.100001.4cf6=1; ap_v=0,6.0; __utmt=1; __utmb=30149280.1.10.1721223349',"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0"}# 动态ip代理池ipList: List[str] = ["d484.kdltps.com:15818","d484.kdltps.com:15818","117.42.94.126:19634"]ipIndex = 0;# 循环100次来获取数据for i in range(100):proStr = ipList[ipIndex];proxies = {"http": f"http://{proStr}",'https': f"https://{proStr}"}params["start"] = startIdx * 20;try:data = requests.get(url, params=params, headers=headers,proxies=proxies);jsonData = data.json();for item in jsonData:print("标题：{} 评分：{}".format(item["title"], item["score"]))startIdx+=1;except Exception as e:print("请求报错：" + str(e));pass;ipIndex += 1;if ipIndex >= len(ipList):ipIndex = 0;

这里大部分代码没变，只是加了一些东西

 ipList: List[str] = ["d484.kdltps.com:15818","d484.kdltps.com:15818","117.42.94.126:19634"]

这段代码就是默认ip代理池，ip代理池可以是数据库，也可以是excel进行存储

proStr = ipList[ipIndex];proxies = {"http": f"http://{proStr}",'https': f"https://{proStr}"}

这里的http是针对http请求做代理，https是针对https请求做代理
这里就是针对反爬做的措施，因为我每次访问都是用不同的ip代理，有一些反爬措施是根据ip短时间的访问次数进行反爬的，这样就可以逃过一劫，也可以保证我的ip池高可用，一个一个ip被封了

        try:data = requests.get(url, params=params, headers=headers,proxies=proxies);jsonData = data.json();for item in jsonData:print("标题：{} 评分：{}".format(item["title"], item["score"]))except Exception as e:print("请求报错：" + str(e));pass;

这里有一些处理可用优化一下，因为这里遇到错误直接打印然后跳出了，这里可以加一些操作，如果判断ip代理被封了，或者是ip代理失效了就可以删掉这个代理再用其他代理爬一次，比如

def requestDataIp():# 爬取数据的urlurl: str = "https://movie.douban.com/j/chart/top_list";# 拼接url的请求参数,根据查看记录可以看到，start是页码params: dict = {"type": 24,"start": 0,"limit": 20,"interval_id": "100:90","action": ""}# 请求头headers: dict = {"Cookie": 'bid=E_4gLcYLK28; douban-fav-remind=1; _pk_id.100001.4cf6=356001ac7c27c8a7.1721138006.; __yadk_uid=3UpO8BdyzrKbVCb1NOAtbGumsp4WCXwl; __utmz=30149280.1721147606.4.2.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __utmz=223695111.1721147606.3.2.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); ll="118281"; _vwo_uuid_v2=DD3C30CAFFD881E01CA061E73D9968226|23b8625e4550d2e13d1dacf343f40f5d; __utma=30149280.457246694.1704531990.1721147606.1721223349.5; __utmc=30149280; __utma=223695111.1791837078.1721138006.1721147606.1721223349.4; __utmb=223695111.0.10.1721223349; __utmc=223695111; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1721223349%2C%22https%3A%2F%2Fwww.google.com%2F%22%5D; _pk_ses.100001.4cf6=1; ap_v=0,6.0; __utmt=1; __utmb=30149280.1.10.1721223349',"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0"}# 动态ip代理池ipList: List[str] = ["d484.kdltps.com:15818","d484.kdltps.com:15818","117.42.94.126:19634"]ipIndex = 0;startIdx = 0;# 循环100次来获取数据for i in range(100):proStr = ipList[ipIndex];proxies = {"http": f"http://{proStr}",'https': f"https://{proStr}"}params["start"] = startIdx * 20;try:data = requests.get(url, params=params, headers=headers,proxies=proxies);jsonData = data.json();for item in jsonData:print("标题：{} 评分：{}".format(item["title"], item["score"]))startIdx += 1;except requests.exceptions.ConnectionError as e:ipList.pop(ipIndex)print("代理报错")except Exception as e:print("请求报错：" + str(e));pass;ipIndex += 1;if ipIndex >= len(ipList):ipIndex = 0;

也就是加了这段代码

        except requests.exceptions.ConnectionError as e:ipList.pop(ipIndex)print("代理报错")
这里加一个题外话，我在用免费代理ip的时候大部分都不行，现在免费代理ip都不靠谱了，我前几年用免费代理ip的时候都挺可以的，如果想要自己的爬虫服务器够稳定的话，个人建议还是买代理ip比较好，或者大家如果有好用的免费代理ip网站的话，也可以在下面评论，先谢谢了

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/47725.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

数学基础【俗说矩阵】：矩阵相乘

数学基础【俗说矩阵】：矩阵相乘

矩阵乘法 矩阵乘法推导过程 一、两个线性方程复合代入 二、X1和X2合并同类项 三、复合后方程组结果 四、线性方程组矩阵表示 五、线性方程组矩阵映射表示 复合映射表示 六、矩阵乘法导出 矩阵乘法法则 1、规则一推导过程 左取行，右取列，对应相乘后…
阅读更多...
【中项】系统集成项目管理工程师-第2章 信息技术发展-2.1信息技术及其发展-2.1.4信息安全

【中项】系统集成项目管理工程师-第2章 信息技术发展-2.1信息技术及其发展-2.1.4信息安全

前言：系统集成项目管理工程师专业，现分享一些教材知识点。觉得文章还不错的喜欢点赞收藏的同时帮忙点点关注。 软考同样是国家人社部和工信部组织的国家级考试，全称为“全国计算机与软件专业技术资格（水平）考试”&…
阅读更多...
「Vue组件化」封装i18n国际化

「Vue组件化」封装i18n国际化

前言 在Vue应用中实现国际化（i18n），通常需要使用一些专门的库，比如vue-i18n。本文主要介绍自定义封装i18n，支持Vue、uniapp等版本。 设计思路 一、预期效果 二、核心代码 2.1 i18n.xlsx文件准备 2.2 脚本执行 根目录main.js根目录locali18n.xlsxnode main.jsmain.js 文件…
阅读更多...
【ARM】MDK-解决CMSIS_DAP.DLL missing报错

【ARM】MDK-解决CMSIS_DAP.DLL missing报错

【更多软件使用问题请点击亿道电子官方网站】 1、 文档目标 记录解决CMSIS_DAP.DLL missing的报错情况，对应相关报错信息，供后续客户参考，快速解决客户问题。 2、 问题场景 客户进行硬件调试时，发现Target设置内有CMSIS_DAP.DL…
阅读更多...
全时守护，无死角监测：重点海域渔港视频AI智能监管方案

全时守护，无死角监测：重点海域渔港视频AI智能监管方案

一、方案背景 随着海洋经济的快速发展和海洋资源的日益紧缺，对重点海域渔港进行有效监控和管理显得尤为重要。视频监控作为一种高效、实时的管理手段，已成为渔港管理中不可或缺的一部分。当前，我国海域面积广阔，渔港众多&#xf…
阅读更多...
uni-app学习HBuilderX学习-微信开发者工具配置

uni-app学习HBuilderX学习-微信开发者工具配置

HBuilderX官网：简介 - HBuilderX 文档 (dcloud.net.cn)https://hx.dcloud.net.cn/ uni-app官网： uni-app官网 (dcloud.net.cn)https://uniapp.dcloud.net.cn/quickstart-hx.htmlHBuilder下载安装：打开官网 uni-app项目的微信开发者工具配置…
阅读更多...
41 QOS技术(服务质量)

41 QOS技术(服务质量)

1 QOS 产生背景 对于网络业务，影响服务质量的因素包括传输的带宽、传送的时延、数据的丢包率等。网络资源总是有限的，只要存在抢夺网络资源的情况，就会出现服务质量的要求网络总带宽固定的情况下，如果某类业务占用的带宽越多&am…
阅读更多...
Mysql-错误处理： Found option without preceding group in config file

Mysql-错误处理： Found option without preceding group in config file

1、问题描述 安装MYSQL时，在cmd中“初始化”数据库时，输入命令： mysqld --initialize --consolecmd报错： D:\mysql-5.7.36-winx64\bin>mysql --initialize --console mysql: [ERROR] Found option without preceding group …
阅读更多...
Web开发：ASP.NET CORE的后端小结（基础）

Web开发：ASP.NET CORE的后端小结（基础）

1.后端重定向到指定路由 public IActionResult Index(){return RedirectToAction("Index", "Main");//重定向>Main/Index} 【备注】如果在MainController的Index方法中return View();本质是 return View("Index")，返回和方法同名的…
阅读更多...
vscode通过ssh链接远程服务器上的docker

vscode通过ssh链接远程服务器上的docker

目录 1 编译docker image1.1 编译镜像1.2 启动镜像 2 在docker container中启动ssh服务2.1 确认是否安装ssh server2.2 修改配置文件2.3 启动ssh服务 3 生成ssh key4 添加ssh公钥到docker container中5 vscode安装插件Remote - SSH6 在vscode中配置 1 编译docker image 一般来…
阅读更多...
二叉树的前、中、后序遍历（递归法、迭代法）leetcode144/94/145

二叉树的前、中、后序遍历（递归法、迭代法）leetcode144/94/145

leetcode144、二叉树的前序遍历 给你二叉树的根节点 root ，返回它节点值的 前序 遍历。 示例 1： 输入：root [1,null,2,3] 输出：[1,2,3] 示例 2： 输入：root [] 输出：[] 示例 3：…
阅读更多...
【golang-ent】go-zero框架 整合 ent orm框架 | 解决left join未关联报错的问题

【golang-ent】go-zero框架 整合 ent orm框架 | 解决left join未关联报错的问题

一、场景 1、子表：cp_member_point_history cp_member_point_history表中字段：cp_point_reward_id 是cp_point_reward的主键id 当本表中的cp_point_reward_id字段为0（即：没有可关联主表的） CREATE TABLE cp_member_poi…
阅读更多...
数据结构（Java）：优先级队列(堆)堆的模拟实现

数据结构（Java）：优先级队列(堆)堆的模拟实现

目录 1、优先级队列 1.1 概念 1.2 PriorityQueue底层结构 2、 堆 2.1 堆的概念 2.2 堆的存储结构 3、优先级队列（堆）的模拟实现 3.1 堆的创建 3.1.1 向下调整算法建完整堆 3.2 堆的插入 3.2.1 向上调整算法 3.3 堆的删除 3.4 堆排序 1、优先…
阅读更多...
CH552的bootload程序IAP直接对ROM-flash修改数据（未尝试）

CH552的bootload程序IAP直接对ROM-flash修改数据（未尝试）

手动写bootload程序的可能 1，根据ch552g的使用手册内容查看到 2，在下面的参考文件的IAP文件夹中看到IAP文件 参考 下面程序中并没有跳转到厂家bootload的过程，这是直接通过控制有关的寄存器对FLSH进行直接写入和修改，这样可以认…
阅读更多...
如何学习Hadoop：糙快猛的大数据之路（利用GPT 学习）

如何学习Hadoop：糙快猛的大数据之路（利用GPT 学习）

目录 引言Hadoop是什么？学习Hadoop的"糙快猛"之道1. 不要追求完美，先动手再说2. 从简单的MapReduce开始3. 利用大模型加速学习4. 循序渐进，建立知识体系 构建您的Hadoop技能树1. 夯实基础：Linux和Java2. 深入理解HDFS3.…
阅读更多...
AI 应用还没有大量出现，缺什么？缺聊天机器人编程语言 | Chatopera

AI 应用还没有大量出现，缺什么？缺聊天机器人编程语言 | Chatopera

只有帮助人发挥创意的才是大市场 现在是需要大量的 AI 应用了。如何产生大量的 AI 应用呢？当年乔布斯说，他看到了个人电脑的两个趋势，一个是图形化用户界面，一个是面向对象编程语言。今天，AI 应用也是新的【图形用户界…
阅读更多...
【QT】label中添加QImage图片并旋转（水平翻转、垂直翻转、顺时针旋转、逆时针旋转）

【QT】label中添加QImage图片并旋转（水平翻转、垂直翻转、顺时针旋转、逆时针旋转）

目录 0.简介 1.详细代码及解释 1）原label显示在界面上 2）水平翻转 3）垂直翻转 4）顺时针旋转45度 5）逆时针旋转 0.简介 环境：windows11 QtCreator 背景：demo，父类为QWidget&a…
阅读更多...
Cisco 路由重发布 —— 实现路由信息在不同路由选择域间的传递

Cisco 路由重发布 —— 实现路由信息在不同路由选择域间的传递

一、技术背景 在实际的组网中，可能会遇到这样一个场景：在一个网络中同时存在两种或者两种以上的路由协议。例如客户的网络原先是纯 Cisco 的设备，使用 EIGRP 协议将网络的路由打通。但是后来网络扩容，增加了一批华为的设备&#…
阅读更多...
应用层——HTTP

应用层——HTTP

像我们电脑和手机使用的应用软件就是在应用层写的，当我们的数据需要传输的时候换将数据传递到传输层。 应用层专门给用户提供应用功能，比如HTTP,FTP… 我们程序员写的一个个解决我们实际的问题都在应用层，我们今天来聊一聊HTTP。 协议 协议…
阅读更多...
【接口自动化_12课_基于Flask搭建MockServer】

【接口自动化_12课_基于Flask搭建MockServer】

知识非核心点，面试题较少。框架搭建的过程中的细节才是面试要点 第三方接口，不方便进行测试， 自己要一个接口去进行模拟。去作为我们项目访问模拟接口。自己写一个接口，需要怎样写 一、flask:轻量级的web应用的框架 安装命令 …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023