requests爬虫IP连接初始化问题及解决方案

问题背景

在使用HTTPS爬虫IP连接时,如果第一次请求是chunked方式,那么HTTPS爬虫IP连接将不会被初始化。这个问题可能会导致403错误,或者在使用HTTPS爬虫IP时出现SSL错误。

在这里插入图片描述

解决方案

为了解决这个问题,我们可以在requests库的adaptor.py文件中添加一个patch,以在第一次连接使用chunked请求时初始化HTTPS爬虫IP。具体的解决方案如下:

步骤 1:打开Python项目,并定位到requests/adaptor.py文件,确保备份原始文件以便后续恢复。

步骤 2:在文件中找到以下代码段,位于prepare函数内部,通常在文件中的位置是在def prepare()函数中:

if hasattr(conn, 'proxy'):if conn.proxy is not None and not getattr(low_conn, 'sock', None):conn._prepare_proxy(low_conn)

步骤 3:将上述代码段替换为以下代码段,这将确保在第一次连接使用chunked请求时初始化HTTPS爬虫IP:

if hasattr(conn, 'proxy'):if conn.proxy is not None and not getattr(low_conn, 'sock', None):conn._prepare_proxy(low_conn)

步骤 4:保存文件并重新运行您的Python项目。

这个patch将确保在第一次连接使用chunked请求时初始化HTTPS爬虫IP,从而解决了上述问题。需要注意的是,这个patch可能需要根据具体的需求进行修改。

在使用这个patch之前,建议先备份原来的requests/adaptor.py文件,以防万一。这样,您可以在需要时还原到原始状态。

希望这个解决方案能够帮助您解决HTTPS爬虫IP连接初始化的问题,从而避免403错误和SSL错误的发生。如果您有任何进一步的问题或需要更多的帮助,请随时提出。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/151326.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

多维时序 | MATLAB实现PSO-BiGRU-Attention粒子群优化双向门控循环单元融合注意力机制的多变量时间序列预测

多维时序 | MATLAB实现PSO-BiGRU-Attention粒子群优化双向门控循环单元融合注意力机制的多变量时间序列预测 目录 多维时序 | MATLAB实现PSO-BiGRU-Attention粒子群优化双向门控循环单元融合注意力机制的多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料 预测效果 …

clickhouse数据结构和常用数据操作

背景, 大数据中查询用mysql时间太长, 使用clickhouse 速度快, 数据写入mysql后同步到clickhouse中 测试1千万数据模糊搜索 mysql 需要30-40秒 clickhouse 约 100ms 一 数据结构和存储引擎 1 查看clickhouse所有数据类型 select * from system.data_type_families; 2 …

03-关系和非关系型数据库对比

关系和非关系型数据库对比 关系型数据库(RDBMS):MySQL、Oracl、DB2、SQLServer 非关系型数据库(NoSql):Redis、Mongo DB、MemCached 插入数据结构的区别 传统关系型数据库是结构化数据,向表中插入数据时都需要严格的约束信息(如字段名,字段数据类型,字…

Java概述

接触Java后会发现它的体系有一个特点,就是非常喜欢用“J”字母开头的缩写,比如JCP, JSR, JMS, JPA, JSP, JAX-RS......它们有些是规范,有些是组织的名称,表意多样,对第一次接触的人来说很可能会觉得混乱,本…

基于水基湍流算法优化概率神经网络PNN的分类预测 - 附代码

基于水基湍流算法优化概率神经网络PNN的分类预测 - 附代码 文章目录 基于水基湍流算法优化概率神经网络PNN的分类预测 - 附代码1.PNN网络概述2.变压器故障诊街系统相关背景2.1 模型建立 3.基于水基湍流优化的PNN网络5.测试结果6.参考文献7.Matlab代码 摘要:针对PNN神…

Nginx-负载均衡-动静分离-虚拟主机

负载均衡 负载均衡基本使用 1 配置上游服务器 upstream myserver { #是server外层server ip1:8080;server ip1:8080; }2 配置代理 server {location / { proxy_pass http://myserver;#请求转向myserver 定义的服务器列表 注意这个http不能丢 pro…

Git 分支设计规范

开篇 这篇文章分享 Git 分支设计规范,目的是提供给研发人员做参考。 规范是死的,人是活的,希望自己定的规范,不要被打脸。 在说 Git 分支规范之前,先说下在系统开发过程中常用的环境。 DEV 环境:用于开发…

属性的加密算法CP-ABE

目录 CP-ABE 属性的加密算法CP-ABE 应用 CP-ABE 传统的ABE系统是由属性来描述密文,并将策略嵌入到用户的密钥中。而CP-ABE使用属性刻画用户的资格,并且由数据的加密方来制定密文访问策略,以决定谁可以解密密文。CP-ABE中,用户的私钥与一系列属性相关,只有用户的属性符…

数电实验-----实现74LS153芯片扩展为8选1数据选择器以及应用(Quartus II )

目录 一、74LS153芯片介绍 管脚图 功能表 二、4选1选择器扩展为8选1选择器 1.扩展原理 2.电路图连接(Quartus II ) 3.仿真结果 三、8选1选择器的应用 1.三变量表决器 2.奇偶校验电路 一、74LS153芯片介绍 74ls153芯片是属于四选一选择器的芯片。…

Android13版本新特性介绍

以下以围绕使用样例的方式来介绍Android13带来的版本新特性。 1、支持设置带主题的应用图标: 其实使用很简单,就是在应用图标xml中新增 monochrome属性,应用就支持了变换带主题的图标 2、各应用语言偏好设定 启用方式有两种: …

系列五、GC垃圾回收【四大垃圾算法-复制算法】

一、堆的内存组成 二、复制算法 2.1、发生位置 复制算法主要发生在新生代,发生在新生代的垃圾回收也被叫做Minor GC。 2.2、 Minor GC的过程 复制>清空》交换 1、eden、from区中的对象复制到to区,年龄1 首先,当eden区满的时候会触发第一…

【数据结构初阶】双链表

双链表 1.双链表的实现1.1结口实现1.2申请结点1.3初始化双链表1.4打印双链表1.5尾插1.6尾删1.7头插1.8头删1.9计算大小1.10查找1.11pos位置插入1.12删除pos位置1.12删除双链表 全部码源 1.双链表的实现 1.1结口实现 #include<stdio.h> #include<stdlib.h> #inclu…

STM32F4系列单片机GPIO概述和寄存器分析

第2章 STM32-GPIO口 2.1 GPIO口概述 通用输入/输出口 2.1.1 GPIO口作用 GPIO是单片机与外界进行数据交流的窗口。 2.1.2 STM32的GPIO口 在51单片机中&#xff0c;IO口&#xff0c;以数字进行分组&#xff08;P0~P3&#xff09;&#xff0c;每一组里面又有8个IO口。 在ST…

AcWing 717. 简单斐波那契

原题链接 题目 以下数列 0 1 1 2 3 5 8 13 21 … 被称为斐波纳契数列。 这个数列从第 3 项开始&#xff0c;每一项都等于前两项之和。 输入一个整数 N &#xff0c;请你输出这个序列的前 N 项。 输入格式 一个整数 N 。 输出格式 在一行中输出斐波那契数列的前 N 项&…

共享内存和信号量的配合机制

进程之间共享内存的机制&#xff0c;有了这个机制&#xff0c;两个进程可以像访问自己内存中的变量一样&#xff0c;访问共享内存的变量。但是同时问题也来了&#xff0c;当两个进程共享内存了&#xff0c;就会存在同时读写的问题&#xff0c;就需要对于共享的内存进行保护&…

Java shp 转 GeoJson

文章目录 1. 依赖安装1.1 配置软件源1.2 引入依赖 2. 功能实现3. 参考链接 1. 依赖安装 1.1 配置软件源 在项目 pom.xml 添加, maven 的 settings.xml 配置的源&#xff0c;mirrorOf 不能是 *,不然安装不上 <project>...<repositories><repository><id…

linux rm 删除找回的几种方法 工具介绍3之testdisk以及Photorec xfs文件系统格式的

使用“dd”的经典方法 dd 非常强大&#xff0c;可用于从磁盘写入文件以及将文件写入分区或卷。但是&#xff0c;建议您首先尝试使用 ddrescue 或 dd_rescue&#xff0c;因为 dd 不适合处理损坏的数据&#xff0c;并且可能会使用次优方法来恢复数据&#xff0c;如果可能的话&am…

【LeetCode】160. 相交链表

160. 相交链表 难度&#xff1a;简单 题目 给你两个单链表的头节点 headA 和 headB &#xff0c;请你找出并返回两个单链表相交的起始节点。如果两个链表不存在相交节点&#xff0c;返回 null 。 图示两个链表在节点 c1 开始相交&#xff1a; 题目数据 保证 整个链式结构中…

快速集成Skywalking 9(Windows系统、JavaAgent、Logback)

目录 一、Skywalking简介二、下载Skywalking服务端三、安装Skywalking服务端3.1 解压安装包3.2 启动Skywalking 四、关于Skywalking服务端更多配置五、Java应用集成skywalking-agent.jar5.1 下载SkyWalking Java Agent5.2 集成JavaAgent5.3 Logback集成Skywalking5.4 集成效果 …

Hafnium之PE MMU配置

启用了安全虚拟化(HCR_EL2.VM = 1),对于S-EL1分区,从安全EL1&0 Stage-1转换中输出两个IPA空间(安全和非安全)。EL1&0 Stage-2转换硬件由: 1)SP EL1&0 Stage-1 MMU被禁用时的安全IPA。 2)当启用安全EL1&0 Stage-1 MMU时,安全或非安全IPA之一。 VTC…