Python分享之 Spider

一、网络爬虫

      网络爬虫又被称为网络蜘蛛，我们可以把互联网想象成一个蜘蛛网，每一个网站都是一个节点，我们可以使用一只蜘蛛去各个网页抓取我们想要的资源。举一个最简单的例子，你在百度和谷歌中输入‘Python'，会有大量和Python相关的网页被检索出来，百度和谷歌是如何从海量的网页中检索出你想要的资源，他们靠的就是派出大量蜘蛛去网页上爬取，检索关键字，建立索引数据库，经过复杂的排序算法，结果按照搜索关键字相关度的高低展现给你。

     千里之行，始于足下，我们从最基础的开始学习如何写一个网络爬虫，实现语言使用Python。
二、Python如何访问互联网

      想要写网络爬虫，第一步是访问互联网，Python如何访问互联网呢？

      在Python中，我们使用urllib包访问互联网。（在Python3中，对这个模块做了比较大的调整，以前有urllib和urllib2,在3中对这两个模块做了统一合并，称为urllib包。包下面包含了四个模块，urllib.request，urllib.error，urllib.parse，urllib.robotparser），目前主要使用的是urllib.request。

      我们首先举一个最简单的例子，如何获取获取网页的源码：

import urllib.request
response = urllib.request.urlopen('https://docs.python.org/3/')
html = response.read()
print(html.decode('utf-8'))

三、Python网络简单使用

首先我们用两个小demo练一下手，一个是使用python代码下载一张图片到本地，另一个是调用有道翻译写一个翻译小软件。

3.1根据图片链接下载图片，代码如下：

import urllib.requestresponse = urllib.request.urlopen('http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg')
image = response.read()with open('123.jpg','wb') as f:f.write(image)

其中response是一个对象

       输入：response.geturl()

       ->'http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg'
       输入：response.info()

       -><http.client.HTTPMessage object at 0x10591c0b8>

       输入：print(response.info())

       ->Content-Type: text/html
           Last-Modified: Mon, 27 Sep 2004 01:23:20 GMT
           Accept-Ranges: bytes
           ETag: "0f4b59230a4c41:0"
           Server: Microsoft-IIS/8.0
           Date: Sun, 14 Aug 2016 07:16:01 GMT
           Connection: close

           Content-Length: 2827

       输入：response.getcode()

       ->200

       3.1使用有道词典实现翻译功能

            我们想实现翻译功能，我们需要拿到请求链接。首先我们需要进入有道首页，点击翻译，在翻译界面输入要翻译的内容，点击翻译按钮，就会向服务器发起一个请求，我们需要做的就是拿到请求地址和请求参数。

            我在此使用谷歌浏览器实现拿到请求地址和请求参数。首先点击右键，点击检查（不同浏览器点击的选项可能不同，同一浏览器的不同版本也可能不同），进入图一所示，从中我们可以拿到请求请求地址和请求参数，在Header中的Form Data中我们可以拿到请求参数。

 代码段如下：

import urllib.request
import urllib.parseurl = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'
data = {}
data['type'] = 'AUTO'
data['i'] = 'i love you'
data['doctype'] = 'json'
data['xmlVersion'] = '1.8'
data['keyfrom'] = 'fanyi.web'
data['ue'] = 'UTF-8'
data['action'] = 'FY_BY_CLICKBUTTON'
data['typoResult'] = 'true'
data = urllib.parse.urlencode(data).encode('utf-8')
response = urllib.request.urlopen(url,data)
html = response.read().decode('utf-8')
print(html)

上述代码执行如下：

         {"type":"EN2ZH_CN","errorCode":0,"elapsedTime":0,"translateResult":[[{"src":"i love you","tgt":"我爱你"}]],"smartResult":{"type":1,"entries":["","我爱你。"]}}

      对于上述结果，我们可以看到是一个json串，我们可以对此解析一下，并且对代码进行完善一下：

import urllib.request
import urllib.parse
import jsonurl = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'
data = {}
data['type'] = 'AUTO'
data['i'] = 'i love you'
data['doctype'] = 'json'
data['xmlVersion'] = '1.8'
data['keyfrom'] = 'fanyi.web'
data['ue'] = 'UTF-8'
data['action'] = 'FY_BY_CLICKBUTTON'
data['typoResult'] = 'true'
data = urllib.parse.urlencode(data).encode('utf-8')
response = urllib.request.urlopen(url,data)
html = response.read().decode('utf-8')
target = json.loads(html)
print(target['translateResult'][0][0]['tgt'])

四、规避风险

服务器检测出请求不是来自浏览器，可能会屏蔽掉请求，服务器判断的依据是使用‘User-Agent',我们可以修改改字段的值，来隐藏自己。代码如下：

import urllib.request
import urllib.parse
import jsonurl = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'
data = {}
data['type'] = 'AUTO'
data['i'] = 'i love you'
data['doctype'] = 'json'
data['xmlVersion'] = '1.8'
data['keyfrom'] = 'fanyi.web'
data['ue'] = 'UTF-8'
data['action'] = 'FY_BY_CLICKBUTTON'
data['typoResult'] = 'true'
data = urllib.parse.urlencode(data).encode('utf-8')
req = urllib.request.Request(url, data)
req.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')
response = urllib.request.urlopen(url, data)
html = response.read().decode('utf-8')
target = json.loads(html)
print(target['translateResult'][0][0]['tgt'])

上述做法虽然可以隐藏自己，但是还有很大问题，例如一个网络爬虫下载图片软件，在短时间内大量下载图片，服务器可以可以根据IP访问次数判断是否是正常访问。所有上述做法还有很大的问题。我们可以通过两种做法解决办法，一是使用延迟，例如5秒内访问一次。另一种办法是使用代理。

延迟访问（休眠5秒，缺点是访问效率低下）：

import urllib.request
import urllib.parse
import json
import timewhile True:content = input('please input content(input q exit program):')if content == 'q':break;url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'data = {}data['type'] = 'AUTO'data['i'] = contentdata['doctype'] = 'json'data['xmlVersion'] = '1.8'data['keyfrom'] = 'fanyi.web'data['ue'] = 'UTF-8'data['action'] = 'FY_BY_CLICKBUTTON'data['typoResult'] = 'true'data = urllib.parse.urlencode(data).encode('utf-8')req = urllib.request.Request(url, data)req.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')response = urllib.request.urlopen(url, data)html = response.read().decode('utf-8')target = json.loads(html)print(target['translateResult'][0][0]['tgt'])time.sleep(5)

 代理访问：让代理访问资源，然后讲访问到的资源返回。服务器看到的是代理的IP地址，不是自己地址，服务器就没有办法对你做限制。

步骤：

1，参数是一个字典｛'类型' : '代理IP：端口号' ｝ //类型是http,https等

proxy_support = urllib.request.ProxyHandler({})

2，定制、创建一个opener

opener = urllib.request.build_opener(proxy_support)

3，安装opener(永久安装，一劳永逸)

urllib.request.install_opener(opener)

3，调用opener（调用的时候使用）

opener.open(url)

五、批量下载网络图片

图片下载来源为**网

图片下载的关键是找到图片的规律，如找到当前页，每一页的图片链接，然后使用循环下载图片。下面是程序代码（待优化,正则表达式匹配，IP代理）：

import urllib.request
import osdef url_open(url):req = urllib.request.Request(url)req.add_header('User-Agent','Mozilla/5.0')response = urllib.request.urlopen(req)html = response.read()return htmldef get_page(url):html = url_open(url).decode('utf-8')a = html.find('current-comment-page') + 23b = html.find(']',a)return html[a:b]def find_image(url):html = url_open(url).decode('utf-8')image_addrs = []a = html.find('img src=')while a != -1:b = html.find('.jpg',a,a + 150)if b != -1:image_addrs.append(html[a+9:b+4])else:b = a + 9a = html.find('img src=',b)for each in image_addrs:print(each)return image_addrsdef save_image(folder,image_addrs):for each in image_addrs:filename = each.split('/')[-1]with open(filename,'wb') as f:img = url_open(each)f.write(img)def download_girls(folder = 'girlimage',pages = 20):os.mkdir(folder)os.chdir(folder)url = 'http://****.net/ooxx/'page_num = int(get_page(url))for i in range(pages):page_num -= ipage_url = url + 'page-' + str(page_num) + '#comments'image_addrs = find_image(page_url)save_image(folder,image_addrs)if __name__ == '__main__':download_girls()

代码运行效果如下：

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/33765.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

网络爬虫选择代理IP的标准

网络爬虫选择代理IP的标准

Hey&#xff0c;小伙伴们&#xff01;作为一家http代理产品供应商&#xff0c;我知道网络爬虫在选择代理IP时可能会遇到些问题&#xff0c;毕竟市面上有很多选择。别担心&#xff01;今天我要给大家分享一些实用的建议&#xff0c;帮助你们选择适合网络爬虫的代理IP。一起来看看…
阅读更多...
选择最适合自己的笔记本

选择最适合自己的笔记本

选择最适合自己的笔记本电脑 一、了解笔记本品牌一线品牌准一线品牌二线品牌三线品牌 二、笔记本入手渠道笔记本入手渠道 三、根据需求选择机型使用需求1.日常使用2.商务办公、财务3.轻度剪辑、ps4.代码5.创意设计6.游戏 四、笔记本电脑配置如何选1.cpu2.显卡&#xff08;GPU&a…
阅读更多...
Vue响应式数据的原理

Vue响应式数据的原理

在 vue2 的响应式中&#xff0c;存在着添加属性、删除属性、以及通过下标修改数组&#xff0c;但页面不会自动更新的问题。而这些问题在 vue3 中都得以解决。 vue3 采用了 proxy 代理&#xff0c;用于拦截对象中任意属性的变化&#xff0c;包括&#xff1a;属性的读写、属性的…
阅读更多...
UTONMOS：元宇宙在网络游戏领域得到充分运用

UTONMOS：元宇宙在网络游戏领域得到充分运用

元宇宙到底是个啥&#xff1f;这个词大概意思应该就是人类能从真实世界进入一个虚拟世界体验另一种生活&#xff0c;这个虚拟的世界就叫“元宇宙”。 从科幻走入现实&#xff0c;元宇宙究竟有什么用途&#xff1f;它离我们到底还有多远&#xff1f;又将给我们的生活带来哪些变…
阅读更多...
EVE-NG 配置 静态IP

EVE-NG 配置 静态IP

打开interfaces 配置文件 vi /etc/network/interfaces 将pent0 的dhcp 修改为 static&#xff0c;并添加IP&#xff0c;掩码&#xff0c;网关和DNS # The primary network interface iface eth0 inet manual auto pnet0 #iface pnet0 inet dhcp iface pnet0 inet staticpre-u…
阅读更多...
“深入解析JVM：Java虚拟机原理和内部结构“

“深入解析JVM：Java虚拟机原理和内部结构“

标题&#xff1a;深入解析JVM&#xff1a;Java虚拟机原理和内部结构 摘要&#xff1a;本文将深入解析JVM&#xff08;Java虚拟机&#xff09;的原理和内部结构。我们将从JVM的基础概念开始&#xff0c;逐步介绍其组成部分&#xff0c;包括类加载器、运行时数据区、字节码解释器…
阅读更多...
微服务——数据同步

微服务——数据同步

问题分析 mysql和redis之间有数据同步问题&#xff0c;ES和mysql之间也有数据同步问题。 单体项目可以在crud时就直接去修改&#xff0c;但在微服务里面不同的服务不行。 方案一 方案二 方案三 总结 导入酒店管理项目 倒入完成功启动后可以看见数据成功获取到了 声明队列和…
阅读更多...
【STM32】FreeRTOS开启后，不再进入主函数的while(1)

【STM32】FreeRTOS开启后，不再进入主函数的while(1)

开启freertos后&#xff0c;想在主函数的while(1)中实现led的翻转&#xff0c;发现无法实现。 int main(void) {/* USER CODE BEGIN 1 *//* USER CODE END 1 *//* MCU Configuration--------------------------------------------------------*//* Reset of all peripherals, …
阅读更多...
根据日期获取星期

根据日期获取星期

1.引入依赖 <dependency><groupId>joda-time</groupId><artifactId>joda-time</artifactId> </dependency> 2.编写方法&#xff1a; 该方法需要引入以下2个类&#xff1a; import org.joda.time.DateTime; import org.joda.time.DateT…
阅读更多...
idea中如何处理飘红提示

idea中如何处理飘红提示

idea中如何处理飘红提示 在写sql时&#xff0c;总是会提示各种错误 查找资料&#xff0c;大部分都是说关提示&#xff0c;这里把错误提示选择为None即可 关掉以后&#xff0c;也确实不显示任何提示了&#xff0c;但总有一种掩耳盗铃的感觉 这个sms表明明存在&#xff0c;但是还…
阅读更多...
Centos7 升级内核

Centos7 升级内核

下载内核文件 下载内核文件 kernel-ml-6.0.10-1.el7.elrepo.x86_64.rpm kernel-ml-devel-6.0.10-1.el7.elrepo.x86_64.rpm安装 rpm -ivh kernel-ml-devel-6.0.10-1.el7.elrepo.x86_64.rpm --force --nodeps rpm -ivh kernel-ml-6.0.10-1.el7.elrepo.x86_64.rpm --force --no…
阅读更多...
Linux 命令 su 和 sudo 的区别

Linux 命令 su 和 sudo 的区别

之前一直对 su 和 sudo 这两个命令犯迷糊&#xff0c;最近专门搜了这方面的资料&#xff0c;总算是把两者的关系以及用法搞清楚了&#xff0c;这篇文章来系统总结一下。 1. 准备工作 因为本篇博客中涉及到用户切换&#xff0c;所以我需要提前准备好几个测试用户&#xff0c;方…
阅读更多...
探索极限：利用整数或字符串操作找出翻转后的最大数字

探索极限：利用整数或字符串操作找出翻转后的最大数字

本篇博客会讲解力扣“1323. 6 和 9 组成的最大数字”的解题思路&#xff0c;这是题目链接。 对于这道题目&#xff0c;我会讲解2种解题思路&#xff0c;分别是直接操作整数&#xff0c;和利用字符串操作。希望大家通过本题学习关于整数和字符串的技巧。 显然&#xff0c;这道题…
阅读更多...
2022深圳杯C题思路解析

2022深圳杯C题思路解析

题目描述&#xff1a; 继续更新 再更问题三 继续更新第一问、第四问 1.2 问题重述 在制定电动车调度方案时&#xff0c;必须考虑充、换电池的时间成本&#xff0c;从而提出了新 的车辆运输选址及调度问题。 1&#xff09; 已知自动驾驶电动物料车在取料点 P 和卸货点 D …
阅读更多...
243. 一个简单的整数问题2（树状数组）

243. 一个简单的整数问题2（树状数组）

输入样例&#xff1a; 10 5 1 2 3 4 5 6 7 8 9 10 Q 4 4 Q 1 10 Q 2 4 C 3 6 3 Q 2 4输出样例&#xff1a; 4 55 9 15 解析&#xff1a; 一般树状数组都是单点修改、区间查询或者单点查询、区间修改。这道题都是区间操作。 1. 区间修改用数组数组维护差分数组 2. 区间查询&am…
阅读更多...
每期一个小窍门: go语言的两种接受者

每期一个小窍门: go语言的两种接受者

在 Go 语言里&#xff0c;方法和函数只差了一个&#xff0c;那就是方法在 func 和标识符之间多了一个参数。 type user struct {name string,email string, }//这是函数的定义 func notify(email string) {fmt.Println("Email is %s", email) }//这是方法的定义 fu…
阅读更多...
golang 自定义exporter - 服务连接数 portConnCount_exporter 导出器

golang 自定义exporter - 服务连接数 portConnCount_exporter 导出器

需求&#xff1a; 1、计算当前6379 、3306 服务的连接数 2、可prometheus 语法查询 下面代码可直接使用&#xff1a; 注&#xff1a; 1、windows 与linux的区分 第38行代码 localAddr : fields[1] //windows为fields[1] &#xff0c; linux为fields[3] 2、如需求 增加/修改/删除…
阅读更多...
程序猿成长之路之密码学篇-分组密码加密模式及IV(偏移量)的详解

程序猿成长之路之密码学篇-分组密码加密模式及IV(偏移量)的详解

Cipher.getInstance("AES/ECB/PKCS5Padding"); Cipher cipher Cipher.getInstance("AES/CBC/PKCS5Padding"); 在进行加解密编程的时候应该有很多小伙伴接触过以上的语句&#xff0c;但是大伙儿在编码过程中是否了解过ECB/CBC的含义、区别以及PKCS5Padding…
阅读更多...
Selenium之css怎么实现元素定位？

Selenium之css怎么实现元素定位？

世界上最远的距离大概就是明明看到一个页面元素站在那里&#xff0c;但是我却定位不到&#xff01;&#xff01; Selenium定位元素的方法有很多种&#xff0c;像是通过id、name、class_name、tag_name、link_text等等&#xff0c;但是这些方法局限性太大&#xff0c; 随着自动…
阅读更多...
Qt 当磁盘可用空间小于指定大小时删除早期的文件

Qt 当磁盘可用空间小于指定大小时删除早期的文件

1. 需求 用户反应&#xff0c;电脑由于自身磁盘空间只有128G&#xff0c;由于软件执行一次任务&#xff0c;就要录视频记录&#xff0c;导致磁盘空间爆满&#xff0c;电脑卡&#xff0c;无法再次生成视频 2. 分析&#xff1a;当时软件没有写自动删除视频的代码导致的。 可以…
阅读更多...
最新文章

Copyright @ 2022~2023