爬虫中Cookies 和 Sission的区别 , 超时设置

Cookies 和 Sission

1.1 cookie和session的区别

cookie数据存放在客户的浏览器上,session数据放在服务器上

cookie不是很安全,别人可以分析存放在本地的cookie并进行cookie欺骗

session会在一定时间内保b存在服务器上,当访问增多,会比较占用你服务器的性能

单个cookie保存的数据不能超过4k,很多浏览器都限制一个站点最多保存20个cookie

1.2 爬虫中问什么要使用cookie

带上cookie的好处:

​ 能够访问登录后的页面

​ 正常的浏览器在请求服务器的时候会带上cookie(第一次请求除外),所以对方服务器有可能会通过是否携带cookie来判断我们是否是一个爬虫,对应的能起到一定的反爬效果

带上cookie的坏处:

​ 一套cookie往往对应的是一个用户的信息,请求太频繁有更大可能性被对方识别为爬虫

​ 那么,面对这种情况如何解决----使用多个账号

1.3 requests处理cookie相关的请求之session

requests提供了一个叫做session类,来实现客户端和服务端的会话保持

会话保持有两个内涵:

​ 保存cookie

​ 实现和服务器的长连接

Cookies

如果一个响应中包含了cookie,那么我们可以利用 cookies参数拿到:

import requestsresponse = requests.get("http://www.baidu.com/")# 7\. 返回CookieJar对象:
cookiejar = response.cookies# 8\. 将CookieJar转为字典:
cookiedict = requests.utils.dict_from_cookiejar(cookiejar)print (cookiejar)print (cookiedict)

session

在 requests 里,session对象是一个非常常用的对象,这个对象代表一次用户会话:从客户端浏览器连接服务器开始,到客户端浏览器与服务器断开。

会话能让我们在跨请求时候保持某些参数,比如在同一个 Session 实例发出的所有请求之间保持 cookie 。

import requests# 创建一个session对象
s = requests.session()
# 通过session对象发请求
s.get('https://www.baidu.com/')
response = s.get('https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=python&fenlei=256&rsv_pq=0xa7948b5d00151ad4&rsv_t=d71fImFoqkgjlERKUqeQ5yYhnF3QMpfLrwwzluexY9jqhRHMfCrJOiIDuI5I&rqlang=en&rsv_enter=1&rsv_dl=tb&rsv_sug3=7&rsv_sug1=6&rsv_sug7=101&rsv_sug2=0&rsv_btype=i&prefixsug=python&rsp=5&inputT=1278&rsv_sug4=1849&rsv_sug=2')
print(response.text)

超时设置

url= 'https://www.baidu.com'
# timeout等待时间 单位为秒
r = requests.get(url,timeout = 0.000000003) 
print(r.status_code)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/224463.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

QEMU源码全解析 —— virtio(8)

接前一篇文章: 上一回讲解了virtio balloon相关类所涉及的realize函数,如下表所示: realize函数parent_dc_realize函数DeviceClassvirtio_pci_dc_realizePCIDeviceClassvirtio_pci_realizeVirtioPCIClassvirtio_balloon_pci_realizepci_qdev…

二叉搜索树--二叉排序树

特性 搜索依据的关键码&#xff0c;所有节点的关键码互不相同非空左子树的所有键值小于其根结点的键值。非空右子树的所有键值大于其根结点的键值。左、右子树都是二叉搜索树。左 < 根 < 右&#xff0c;左右都是二叉排序树二叉搜索树-中序遍历从小到大有序 创建二叉搜…

什么是WebSocket?在PHP中如何使用WebSocket?

WebSocket&#xff1a; WebSocket 是一种在单个 TCP 连接上进行全双工通信的协议。它提供了与 HTTP 不同的通信方式&#xff0c;允许服务器主动向客户端推送数据&#xff0c;而不需要客户端明确地请求。WebSocket 通信始于一个握手过程&#xff0c;之后就可以在双方之间建立持…

学习软件测试建议看些什么书?

测试入门软件测试&#xff08;第2版&#xff09;Software Testing (2e), Ron Patton 一本测试入门的好书&#xff0c;较全面地介绍了各种测试领域和方法&#xff0c;为测试新手提供了正确的观念和宽泛的基础。 软件测试的艺术&#xff08;第2版&#xff09;The Art of Softwar…

精通Spring整合MyBatis:架构师的实践指南

引言&#xff1a; 介绍Spring和MyBatis的基本概念及其在Java应用开发中的重要性。 整合原理 在整合Spring和MyBatis时&#xff0c;关键在于理解两者是如何协同工作的。Spring框架主要负责管理Java应用的生命周期和依赖注入&#xff0c;而MyBatis则专注于数据库操作和映射。 …

Linux 服务器使用 ssh 密钥登录

背景 我们平时登录云服务器都是直接输入 IP、账号、密码进行登录&#xff0c;这种方式当是你自己的服务器的时候就没什么关系。 但是如果在企业中&#xff0c;当员工人数日渐增多时&#xff0c;又需要给后端开放测试服务器、或正式服务器的权限时。 不得不面临的一个问题就是…

node-red中输出当前时间

在node-red中输出当前时间&#xff0c;并指定时区为北京时间&#xff0c;时间格式为&#xff1a;YYYY-MM-DD HH:mm:ss 可以使用moment.js库&#xff0c;也可以自行写一个function&#xff0c;介绍一下使用自定义function的方法。 var now new Date(); var formattedDate …

SpringDataRedis 基本使用

1.1 简介 1.1.1 概述 Spring Data 中有一个成员 Spring Data Redis&#xff0c;他提供了 RedisTemplate 可以在 Spring 应用中更简便的访问 Redis 以及异常处理及序列化&#xff0c;支持发布订阅等操作。 1.2 RedisTemplate 常见 API   RedisTemplate 针对 jedis 客户端中大…

c++知识总结

一 细碎知识 1.9 I 1.9.1 inline 参考 C语言中头文件中的 static inline 函数以及 __attribute__((always_inline)) 强制内联展开-CSDN博客https://blog.csdn.net/m0_37616597/article/details/104138980 慎用 inline 内联能提高函数的执行效率,为什么不把所有的函数都定…

程序是怎么跑起来的

前言 本篇文章从整体流程上描述一下一个程序是怎么在计算机中运行的&#xff0c;整个流程分为三大块&#xff1a; 程序的创造程序的编译程序的运行 程序的创造 一般来说&#xff0c;创造一个程序是代码工程师的责任&#xff0c;虽然现在有很多工具可以不经过编码就能创造一…

高分辨率台阶仪,精准掌控细节测量

什么是台阶仪&#xff1f; 台阶仪是一款超精密接触式微观轮廓测量仪&#xff0c;可以对微米和纳米结构进行膜厚和薄膜高度、表面形貌、表面波纹和表面粗糙度等的测量。 什么是台阶仪分辨率&#xff1f; 台阶仪分辨率是指在台阶仪的测量范围内&#xff0c;仪器能够精确分辨出的…

等保2.0的变化

1法律地位得到确认 《中华人民共和国网络安全法》第21条规定“国家实行网络安全等级保护制度”&#xff0c;要求“网络运营者应当按照网络安全等级保护制度要求&#xff0c;履行安全保护义务”&#xff1b;第31条规定“对于国家关键信息基础设施&#xff0c;在网络安全等级保护…

1-SaaS通识

云计算 讲SaaS必须先讲云计算。云计算通过互联网提供计算服务&#xff0c;包括服务器、存储、数据库、网络、应用等&#xff0c;采用按需付费的定价模式。 云计算的4种部署模式 公有云&#xff1a;由云服务商拥有和管理&#xff0c;就好比水电&#xff0c;居民共享&#xff…

外包干了2年,技术退步明显...

&#x1f4e2;专注于分享软件测试干货内容&#xff0c;欢迎点赞 &#x1f44d; 收藏 ⭐留言 &#x1f4dd; 如有错误敬请指正&#xff01;&#x1f4e2;交流讨论&#xff1a;欢迎加入我们一起学习&#xff01;&#x1f4e2;资源分享&#xff1a;耗时200小时精选的「软件测试」资…

TaskWeaver:代码优先的代理框架

大型语言模型 (LLM) 在自然语言理解和生成方面表现出了令人印象深刻的能力&#xff0c;导致它们在聊天机器人和虚拟助理等应用中得到使用。然而&#xff0c;现有的法学硕士框架在处理具有丰富数据结构的特定领域数据分析任务时面临局限性。此外&#xff0c;他们还难以灵活地满足…

5.2 Linux FTP 服务

1、概念介绍 FTP&#xff08;File Transfer Protocol:文件传输协议&#xff09;作用Internet 上用来传送文件的协议 FTP Server&#xff08;File Transfer Protocol Server&#xff09;是在互联网/局域网上提供文件存储和访问服务的计算机&#xff0c;它们依照FTP协议提供服务…

Sqoop安装与配置-shell脚本一键安装配置

文章目录 前言一、使用shell脚本一键安装1. 复制脚本2. 增加执行权限3. 执行脚本4. 加载用户环境变量5. 查看是否安装成功 总结 前言 本文介绍了如何使用Shell脚本一键安装Sqoop。Sqoop是一个用于在Apache Hadoop和结构化数据存储&#xff08;如关系数据库&#xff09;之间传输…

优先考虑泛型

Java中的泛型&#xff08;Generics&#xff09;提供了一种参数化类型的机制&#xff0c;使得你可以编写更灵活、类型安全的代码。下面是一个例子&#xff0c;说明在Java中优先考虑泛型的好处&#xff1a; 考虑一个简单的容器类&#xff0c;它可以存储任意类型的元素&#xff0…

【Avue】点击新增再点击表单得radio选项出现新表单,且编辑页面关不掉新表单处理方法

一、问题描述 1、点击新增 2、 点击radio选择值 1、点击否得时候没反应 2、点击是得时候出现新表单 2.1、旧代码 {label: 是否危险源,prop: isBigdanger,searchLabelWidth: 120,overHidden: true,span: 24,rules: [{required: true,message: 请选择是否重大危险源,trigger: bl…

离散事件仿真库SimPy的执行逻辑介绍

文章目录 内容介绍详细执行逻辑分析大致仿真流程Simpy核心类的细节Environment 类Event 类Process类&#xff08;Event&#xff09; 基于案例详细介绍仿真逻辑env.run() 方法逻辑env.process() 方法逻辑 参考文章&#xff1a; SimPy Discrete event simulation for Pythonpyth…