爬虫之使用代理

爬虫—使用代理

1. 为什么使用代理

1.1 让服务器以为不是同一个客户端在请求

1.2 防止我们的真实地址被泄漏,防止被追究

2. 理解使用代理的过程

1-12

3. 理解正向代理和反向代理的区别

代理

通过上图可以看出:

  • 正向代理:对于浏览器知道服务器的真实地址,例如VPN
  • 反向代理:浏览器不知道服务器的真实地址,例如nginx

详细讲解:

正向代理是客户端与正向代理客户端在同一局域网,客户端发出请求,正向代理替代客户端服务器发出请求。服务器不知道谁是真正的客户端,正向代理隐藏了真实的请求客户端。

反向代理是服务器与反向代理在同一个局域网,客服端发出请求,反向代理接收请求,反向代理服务器会把我们的请求分转发到真实提供服务的各台服务器Nginx就是性能非常好的反向代理服务器,用来做负载均衡。

正向代理

反向代理

4. 代理的使用

  • 用法:

    requests.get('http://www.baidu.com', proxiex=proxies)
    
  • proxies的形式:字典

  • 例如:

    proxies = {'http': 'http://12.34.56.79:8321','https': 'https://12.34.56.79:8321',
    }
    

5. 代理IP的分类

根据代理IP的匿名程度,代理IP可以分为以下三类:

  • 透明代理(Transparent Proxy):透明代理的意思是客户端根本不需要知道有代理服务器的存在,但是它传送的仍然是真实的IP。使用透明代理时,对方服务器是可以知道你使用了代理的,并且他们也知道你的真实IP。你要隐藏的话,不要用这个。透明代理为什么无法隐藏身份呢?因为他们将你的真实IP发送给了对方服务器,所以无法达到保护真实信息。

  • 匿名代理(Anonymous Proxy):匿名代理隐藏了您的真实IP,但是向访问对象可以检测是使用代理服务器访问他们的。会改变我们的请求信息,服务器端可能会认为我们使用了代理。不过使用此种代理时,虽然被访问的网站不能知道你的IP地址,但仍然可以知道你在使用代理,当然某些能够侦测ip的网页也是可以查到你的ip。(https://wenku.baidu.com/view/9bf7b5bd3a3567ec102de2bd960590c69fc3d8cf.html)。

  • 高匿代理(Elite proxy或High Anonymity Proxy):高匿名代理不改变客户机的请求,这样在服务器看来就像有个真正的客户浏览器在访问它,这时客户的真实IP是隐藏的,完全用代理服务器的信息替代您的所有信息,就像您就是完全使用那台代理服务器直接访问对象,同时服务器端不会认为我们使用了代理。IPDIEA覆盖全球240+国家地区ip高匿名代理不必担心被追踪。

在使用的时候,毫无疑问使用高匿代理效果最好。

从请求使用的协议可以分为:

  • http代理
  • https代理
  • socket代理

不同分类的代理,在使用的时候需要根据抓取网站的协议来选择。

6. 代理IP使用的注意点

  • 反反爬

    使用代理ip是非常必要的一种反反爬的方式,但是即使使用了代理ip,对方服务器仍然会有很多的方式来检测我们是否是一个爬虫,比如:

    • 一段时间内,检测IP访问的频率,访问太频繁会屏蔽
    • 检查Cookie,User-Agent,Referer等header参数,若没有则屏蔽
    • 服务方购买所有代理提供商,加入到反爬虫数据库里,若检测是代理则屏蔽,所以更好的方式在使用代理ip的时候使用随机的方式进行选择使用,不要每次都用一个代理ip。
  • 代理ip池的更新

    购买的代理ip很多时候大部分(超过60%)可能都没办法使用,这个时候就需要通过程序去检测哪些可用,把不能用的删除掉。

  • 代理服务器平台的使用

    当然还有很多免费的,但是大多都不可用需要自己尝试

    • http://www.66ip.cn
    • Https://ip.jiangxianli.com/?page=1
    • Https://www.zdaye.com
    • Https://www.kuaidaili.com/free

7. 配置

  • 浏览器配置代理

    右边三点==>设置==>高级==>代理==>局域网设置==>为LAN使用代理==>输入ip和端口号即可,参考网址:https://jingyan.baidu.com/article/a681b0dece76407a1843468d.html

  • 代码配置

    urllib

    handler = urllib.request.ProxyHandler({'http': '114.215.95.188:3128'})
    opener = urllib.request.build_opener(handler)
    

    requests

    # 用到的库
    import requests
    # 写入获取到的ip地址到proxy
    # 一个ip地址
    proxy = {'http': 'http://221.178.232.130:8080'
    }# 多个ip地址
    proxy = [{'http': 'http://221.178.232.130:8080'},{'http': 'http://221.178.232.130:8080'}
    ]import random
    proxy = random.choice(proxy)# 使用代理
    import requestsres = requests.get('http://httpbin.org/ip', proxies={'http': 'http://113.121.22.149:9999'})
    print(res.text)
    

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/616931.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vue前端开发自学demo,父子组件之间传递数据demo2

vue前端开发自学demo,父子组件之间传递数据demo2!实际上,组件之间传递数据的,数据类型,是可以多种多样的,下面为大家展示几个常见的数据类型,比如数字类型,数组类型,对象类型。 代码如下所示&a…

Linux Debian12系统gnome桌面环境默认提供截屏截图工具gnome-screenshot

一、简介: 在Debian12中系统gnome桌面环境默认提供一个截图捕获工具screenshot,可以自定义区域截图、屏幕截图、窗口截图和录制视频,截图默认保存在“~/图片/截图”路径下。 可以在应用程序中搜索screenshot,如下图: 也可以在桌面右上角找到…

中国聚α烯烃(PAO)行业市场调研与预测报告(2024版)

内容简介: 合成润滑油是指使用化学方法合成的基础油加入不同的添加剂调和而成的高性能润滑油。合成润滑油在各项性能上都远远优于矿物润滑油,为苛刻工况下工作的设备提供更加可靠的润滑。 常见的合成润滑油主要有聚烯烃类、合成酯类、聚醚类和烷基化芳…

算法进阶——按之字形顺序打印二叉树

题目 给定一个二叉树&#xff0c;返回该二叉树的之字形层序遍历&#xff0c;&#xff08;第一层从左向右&#xff0c;下一层从右向左&#xff0c;一直这样交替&#xff09;。 数据范围&#xff1a;0≤n≤1500,树上每个节点的val满足∣val∣<1500 要求&#xff1a;空间复杂…

物理机搭建hive

一、修改Hadoop配置 修改core-site.xml 配置yarn-site.xml 分发文件&#xff0c;然后重启集群 二、 Hive解压安装 上传文件 添加hive环境便量&#xff0c;source生效 启动高可用集群&#xff0c;启动hive 三、配置mysql元数据库 检查当前系统是否安装过Mysql&#xf…

AJAX入门到实战,学习前端框架前必会的(ajax+node.js+webpack+git)(七)

08.什么是模块化&#xff1f; CommonJS 标准 09.ECMAScript 标准 - 默认导出和导入 10.ECMAScript 标准 - 命名导出和导入 11.包的概念 实操&#xff1a; server.js utils/lib/index.js utils/package.json 12.npm - 软件包管理器 13.npm - 安装所有依赖 从别处&#xff08;网…

node 第二十一天 webpack 初见

为什么需要学习&#xff08;了解&#xff09;webpack webpack是前端工程化的基石&#xff0c;webpack又是基于node进行文件打包bundle&#xff0c;所以作为前端起手学习node服务端开发&#xff0c;同时学习webpack是很有必要的。 随着vite的出现&#xff0c;vue这一脉可能也许不…

HarmonyOS应用开发学习笔记 UIAbility组件与UI的数据同步 EventHub、globalThis

1、 HarmoryOS Ability页面的生命周期 2、 Component自定义组件 3、HarmonyOS 应用开发学习笔记 ets组件生命周期 4、HarmonyOS 应用开发学习笔记 ets组件样式定义 Styles装饰器&#xff1a;定义组件重用样式 Extend装饰器&#xff1a;定义扩展组件样式 5、HarmonyOS 应用开发…

TS:.d.ts 文件 和 declare 的作用

1 declare 做外部声明1.1 声明外部类型1.2 声明外部模块1.2.1 解决引入资源模块报错1.2.2 跳过对第三方库的类型检查 1.3 声明外部变量1.4 声明外部命名空间&#xff08;作用域&#xff09; 2 .d.ts 文件做外部声明3 declare global {} 在模块中做外部声明 先说一下我对 .d.ts文…

计算机缺失msvcp140.dll的修复教程,教你快速解决dll问题

“针对计算机系统中出现的msvcp140.dll文件丢失问题&#xff0c;小编将详细阐述一系列有效的解决方法。首先&#xff0c;msvcp140.dll是Microsoft Visual C Redistributable Package中的一个关键动态链接库文件&#xff0c;对于许多应用程序的正常运行至关重要。当系统提示该文…

RS触发器

转自&#xff1a;【基础】RS触发器_两个或非门构成rs触发器-CSDN博客 RS触发器为什么能 “保持上一状态” 触发器就是在常规的门电路的基础上加入了反馈&#xff0c;这样触发器就实现了存储数据的功能。这也是上面章节 “RS触发器实验” 的 RS触发器特征表 中第3条 “保持上一…

线性分解模型(LDM)的扩展方法——分析稀疏数据里的微生物组存在或缺失关联

谷禾健康 生态学家在分析微生物组和感兴趣的协变量(如临床结果或环境因素)之间的关联时&#xff0c;经常以两种方式查看物种分类计数数据。 一种是将计数视为定量的(即作为相对丰度数据进行分析)&#xff1b;另一种是将计数数据离散化&#xff0c;只表明一个分类单元在样本中是…

终极Linux命令宝典:从入门到精通,一网打尽!

文章目录 Linux命令详解1、Linux初级命令1.1、ls&#xff08;List&#xff09;1.1.1、ls-常用参数&#xff1a; 1.2、pwd&#xff08;Print Working Directory&#xff09;1.3、touch&#xff08;change file timestamps&#xff09;1.3.1、touch-常用参数 1.4、cat&tac (C…

Java多线程:创建多线程的三种方式

在Java中&#xff0c;有三种方式创建多线程&#xff0c;继承类Thread&#xff0c;继承接口Runnable&#xff0c;继承接口Callable。其中Thread和Runnable需要重写方法run&#xff0c;方法run没有返回值&#xff1b;Callable需要重写方法call&#xff0c;方法call可以返回值。 …

SAP OData(三)Query Option

Query option是指客户端在获取EntitySet的URL中后缀的一些指令&#xff0c;在第一篇第四小节我们已经见识了一部分Query指令。在下面表中列出了最重要的QueryOption。注意指令在URL中必须小写。 Operation Query Option Filtering and projecting $filter and $select Sort…

thinkphp6实现简单定时任务

thinkphp6实现定时任务 创建定时任务文件定义指令编写Test.php代码运行测试 创建定时任务文件 Test类名根据自己的需要修改 php think make:command Test testcommand文件夹在app目录下没有需要自己创建 运行上面的命令后会在command下 多一个Test.php文件 定义指令 在conf…

【Elasticsearch】Elasticsearch集群搭建详细手册

一、集群搭建 1.1.资源准备 服务器 192.168.X.26192.168.X.25192.168.X.24 安装包 elasticsearch-6.8.10.tar.gz 防火墙 所有服务器均开通9200,9300端口 1.2.安装组件 第一步&#xff1a;创建es安装目录 #在opt目录下创建soft目录 cd /opt mkdir soft第二步&#xff1a;上…

Java内存模型之原子性

文章目录 1.什么是原子性2.Java中的原子操作有哪些3.long和double的原子性4.原子操作 原子操作 ! 原子操作 1.什么是原子性 一系列的操作&#xff0c;要么全部执行成功&#xff0c;要么全部不执行&#xff0c;不会出现执行一半的情况&#xff0c;是不可分割的。 注意&#x…

探索SQL性能优化之道:实用技巧与最佳实践

SQL性能优化可能是每个数据库管理员和开发者在日常工作中必不可少的一个环节。在大数据时代&#xff0c;为确保数据库系统的响应速度和稳定性&#xff0c;掌握一些实用的SQL优化技巧至关重要。 本文将带着开发人员走进SQL性能优化的世界&#xff0c;深入剖析实用技巧和最佳实践…

Vue3访问不到$refs?

我试过了,getCurrentInstance()的方法 我试过 // 伪代码 <tinymce :ref"tinymceDate" />setup(){ let tinymceDate ref(null) const publish () > {console.log("hfq",tinymceDate.value)} return{...} }都不行 后面我试着在setup中使用setup…