当爬虫遇到需要动态ip才能获取资源的时候如何解决?

因为有的网站是拦截相同的ip重复爬去网站中的资源，因此比较好的解决办法是利用手机频繁的去切换飞行模式来拿到切换ip的效果，但是缺点是频繁切换ip特别麻烦。然后我们组长给了我们解决方案就是伪装成浏览器去访问网页资源，因此只需要在http请求头加上头信息即可。

        1.httpConnection.setRequestProperty("User-Agent","[Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36]");
HttpGet httpget = new HttpGet(url);//浏览器标识 (操作系统标识; 加密等级标识; 浏览器语言) 渲染引擎标识 版本信息2.httpget.setHeader("User-Agent","Mozilla/5.0 (Linux; U; Android 2.3.6; zh-cn; GT-S5660 Build/GINGERBREAD) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1 MicroMessenger/4.5.255");

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/509270.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

怎样才算得上合格的程序员

怎样才算得上合格的程序员

转自：http://blog.csdn.net/B9Q8e64lO6mm/article/details/78829370 最近同一部门另一个项目组的一位程序员被“主动离职”了，虽然我未曾与这个程序员共事过，但是听过一两次他的内部分享，感觉技术还是挺厉害的。后来与一个消息灵通…
阅读更多...
Linuxs查看进程，杀死进程

Linuxs查看进程，杀死进程

1.查进程 ps命令查找与进程相关的PID号： ps a 显示现行终端机下的所有程序，包括其他用户的程序。 ps -A显示所有程序。 ps c 列出程序时，显示每个程序真正的指令名称，而不包含路径，参数或常驻服务的标示。 ps -e此…
阅读更多...
数据结构实验之链表八：Farey序列

数据结构实验之链表八：Farey序列

Problem Description Farey序列是一个这样的序列：其第一级序列定义为（0/1，1/1），这一序列扩展到第二级形成序列（0/1，1/2，1/1），扩展到第三极形成序列&#xff0…
阅读更多...
c# MEF框架（一 MEF简介及简单的Demo）

c# MEF框架（一 MEF简介及简单的Demo）

转自：http://www.cnblogs.com/yunfeifei/p/3922668.html 在文章开始之前，首先简单介绍一下什么是MEF，MEF,全称Managed Extensibility Framework（托管可扩展框架）。单从名字我们不难发现：MEF是专门致力于解决…
阅读更多...
mysql索引使用（转载）

mysql索引使用（转载）

链接
阅读更多...
c# MEF框架（二 MEF的导出(Export)和导入(Import)）

c# MEF框架（二 MEF的导出(Export)和导入(Import)）

转自：http://www.cnblogs.com/yunfeifei/p/3922891.html 上一篇学习完了MEF的基础知识，编写了一个简单的DEMO，接下来接着上篇的内容继续学习，如果没有看过上一篇的内容， 请阅读：http://www.cnblogs.com/yun…
阅读更多...
c# MEF框架（三 导出类的方法和属性）

c# MEF框架（三 导出类的方法和属性）

转自：http://www.cnblogs.com/yunfeifei/p/3927663.html 前面说完了导入和导出的几种方法，如果大家细心的话会注意到前面我们导出的都是类，那么方法和属性能不能导出呢？？？答案是肯定的，下面就来…
阅读更多...
从mysql取出数据封装成json中遇到特殊字符自动转成unicode解决方案

从mysql取出数据封装成json中遇到特殊字符自动转成unicode解决方案

Testpublic void xxx() throws ParseException, UnsupportedEncodingException, Exception {ArrayList<JSONObject> list new ArrayList<>();String s "家电偷工减料、服装质量差……还相信“电商定制产品”更实惠";JSONObject json new JSONObject()…
阅读更多...
c# MEF框架（四 见证奇迹的时刻之实战应用）

c# MEF框架（四 见证奇迹的时刻之实战应用）

转自 http://www.cnblogs.com/yunfeifei/p/3940075.html 前面三篇讲了MEF的基础和基本到导入导出方法&#xff0c;下面就是见证MEF真正魅力所在的时刻。如果没有看过前面的文章&#xff0c;请到我的博客首页查看。 前面我们都是在一个项目中写了一个类来测试的&#xff0c;但实…
阅读更多...
c# MEF框架（四 MEF高级进阶）

c# MEF框架（四 MEF高级进阶）

转自&#xff1a;http://www.cnblogs.com/yunfeifei/p/3991330.html 好久没有写博客了&#xff0c;今天抽空继续写MEF系列的文章。有园友提出这种系列的文章要做个目录&#xff0c;看起来方便&#xff0c;所以就抽空做了一个&#xff0c;放到每篇文章的最后。 前面四篇讲了MEF的…
阅读更多...
网络爬虫-获取网页中的数据加伪装头，伪装成浏览器多次访问，避免单次访问导致ip被封

网络爬虫-获取网页中的数据加伪装头，伪装成浏览器多次访问，避免单次访问导致ip被封

User-Agent&#xff1a;用户代理。是一种向访问网站提供你所使用的浏览器类型、操作系统及版本、CPU 类型、浏览器渲染引擎、浏览器语言、浏览器插件等信息的标识。UA字符串在每次浏览器 HTTP 请求时发送到服务器 Referer&#xff1a;HTTP Referer是header的一部分&#xff0c…
阅读更多...
Unity3D求向量间的夹角

Unity3D求向量间的夹角

如下图 Vector3 srcPos new Vector3(0,0,0);Vector3 tarPos new Vector3(0,0,-1);Vector3 srcRot new Vector3(0,90,0);Quaternion srcQua Quaternion.Euler(srcRot);Vector3 direction tarPos - srcPos;Vector3 r Quaternion.Inverse(srcQua) * direction;Debug.Log(r);…
阅读更多...
ActiveMQ学习

ActiveMQ学习

ActiveMQ: 1.设置ActiveMQ的账户密码、端口号信息 2.建立连接 3.设置消息存放位置(持久化存储jdbc、临时存储等等) 4.建立生产者 5.发送消息 6.接收者进行安全认证&#xff0c;写入账户密码、端口号信息 7.接收消息
阅读更多...
Libevent源码分析

Libevent源码分析

http://blog.csdn.net/column/details/libevent-src.html?&page2
阅读更多...
面向切面编程--AOP

面向切面编程--AOP

转自:https://www.cnblogs.com/qicosmos/archive/2013/04/07/3003480.html &#xff08;原创&#xff09; C 轻量级AOP框架 c11 boost技术交流群&#xff1a;296561497&#xff0c;欢迎大家来交流技术。 c中开源的AOP框架AspectC需要单独编译才能将切面的代码织入到核心逻辑代码…
阅读更多...
IQ超过250

IQ超过250

Problem Description 李华是一个十分聪明的同学&#xff0c;据说他的智商高达250多&#xff0c;但是今天他竟然被一道题给卡住了&#xff0c;是什么题呢&#xff1f;题目内容为&#xff1a; 给你n个数&#xff0c;然后让你判断能否用这n个数中的一些数,使他们的和组成所有的非负…
阅读更多...
9个基于Java的搜索引擎框架

9个基于Java的搜索引擎框架

9个基于Java的搜索引擎框架 转自&#xff1a;http://blog.csdn.net/xiaomin1991222/article/details/50980573 1、Java 全文搜索引擎框架 Lucene 毫无疑问&#xff0c;Lucene是目前最受欢迎的Java全文搜索框架&#xff0c;准确地说&#xff0c;它是一个全文检索引擎的架构&a…
阅读更多...
面向切面编程--AOP(二)

面向切面编程--AOP(二)

转自&#xff1a;http://www.cnblogs.com/qicosmos/p/3154174.html (原创)c11改进我们的模式之改进代理模式&#xff0c;实现通用的AOP框架 c11 boost技术交流群&#xff1a;296561497&#xff0c;欢迎大家来交流技术。 本次要讲的时候如何改进代理模式&#xff0c;具体来说是动…
阅读更多...
TimesIsMoney

TimesIsMoney

Problem Description 给你一个序列&#xff0c;有N个整数&#xff08;int以内&#xff09;&#xff0c;判断一个数在这个序列中出现几次。 Input 多组输入&#xff0c;输入到文件结尾 首先输入一个n&#xff0c;然后输入n个整数。 在输入一个m&#xff0c;代表查询的个数 &…
阅读更多...
redis参考优秀文章

redis参考优秀文章

文章地址 写的很详细&#xff0c;做个记录
阅读更多...
最新文章

Copyright @ 2022~2023