万物皆可爬——亮数据代理IP+Python爬虫批量下载百度图片助力AI训练

  • 💂 个人网站:【 摸鱼游戏】【神级代码资源网站】【导航大全】
  • 🤟 一站式轻松构建小程序、Web网站、移动应用:👉注册地址
  • 🤟 基于Web端打造的:👉轻量化工具创作平台
  • 💅 想寻找共同学习交流,摸鱼划水的小伙伴,请点击【全栈技术交流群】

项目背景

本文档详细介绍了一个网络爬虫项目的准备和实现过程。该项目的目标是从百度图片搜索中获取图片链接并下载图片。此类爬虫项目通常用于收集大量的图片数据,以便用于训练各种人工智能模型,特别是计算机视觉模型。计算机视觉领域的研究需要大量的图像数据来训练和测试模型,以便实现图像分类、对象检测、图像生成等功能。

一、项目准备

环境配置

在开始编写爬虫之前,确保已经完成以下环境配置:

Python安装: 确保已安装Python 3.x版本。Python是一种功能强大且易于学习的编程语言,适合于各种编程任务,包括网络爬虫开发。

需要的库: Python有一个庞大的第三方库生态系统,我们将使用几个核心库来开发我们的爬虫:

  • requests: 用于发送HTTP请求和处理响应。
  • json: 用于处理JSON格式的数据。
  • urllib: 提供了在网络上获取数据的一些功能,我们主要用来进行URL编码。
  • os: 提供了与操作系统交互的功能,用于创建文件夹等文件操作。
  • time: 提供了时间相关的功能,例如休眠程序以及计时等。

可以使用以下命令通过pip安装这些库:

pip install requests

如果你使用的是Anaconda等集成环境,可以使用conda命令:

conda install requests

这些库将帮助我们处理HTTP请求、解析和存储数据,以及进行一些基本的系统操作。

二、爬虫设计与实现

爬虫设计思路

目标网站分析

本爬虫目标是从百度图片搜索获取图片链接并下载。百度图片搜索返回的结果是JSON格式的数据,其中包含了图片的缩略图链接。

数据获取流程
  1. 构建百度图片搜索的URL,通过GET请求获取JSON数据。
  2. 解析JSON数据,提取缩略图链接。
  3. 下载图片到本地存储。

代码实现

初始化爬虫类(BaiduImageSpider)
import requests
import json
from urllib import parse
import os
import timeclass BaiduImageSpider(object):def __init__(self):self.json_count = 0  # 请求到的json文件数量(一个json文件包含30个图像文件)self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \'=201326592&is=&fp=result&queryWord={' \'}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word={' \'}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \'}&rn=30&gsm=1e&1635054081427= 'self.directory = r"C:\价值一个亿\python-mini-projects\projects\baidutupian\{}"  # 存储目录  这里需要修改为自己希望保存的目录  {}不要丢self.header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3','Accept-Language': 'en-US,en;q=0.9','Referer': 'https://image.baidu.com'}
创建存储文件夹
# 创建存储文件夹def create_directory(self, name):self.directory = self.directory.format(name)# 如果目录不存在则创建if not os.path.exists(self.directory):os.makedirs(self.directory)self.directory += r'\{}'
获取图像链接
# 获取图像链接
def get_image_link(self, url):list_image_link = []strhtml = requests.get(url, headers=self.header)  # Get方式获取网页数据print(f"Response content for URL {url}:\n{strhtml.text}\n")try:jsonInfo = json.loads(strhtml.text)except json.JSONDecodeError:print("Error decoding JSON")return list_image_linkif 'data' in jsonInfo:for index in range(len(jsonInfo['data'])):if 'thumbURL' in jsonInfo['data'][index]:list_image_link.append(jsonInfo['data'][index]['thumbURL'])else:print("No 'data' key in the response JSON")return list_image_link
下载图片
# 下载图片
def save_image(self, img_link, filename):try:res = requests.get(img_link, headers=self.header)if res.status_code == 404:print(f"图片 {img_link} 下载出错")else:with open(filename, "wb") as f:f.write(res.content)print("存储路径:" + filename)except requests.RequestException as e:print(f"Error downloading image: {e}")
主运行函数
# 入口函数
def run(self):searchName = input("查询内容:")searchName_parse = parse.quote(searchName)  # 编码self.create_directory(searchName)pic_number = 0  # 图像数量for index in range(self.json_count):pn = index * 30request_url = self.url.format(searchName_parse, searchName_parse, str(pn))list_image_link = self.get_image_link(request_url)for link in list_image_link:pic_number += 1self.save_image(link, self.directory.format(str(pic_number) + '.jpg'))time.sleep(1)  # 休眠1秒,防止封ipprint(searchName + "----图像下载完成--------->")

三、代码详解

__init__ 方法

init 方法用于初始化爬虫类的属性。在这个方法中,我们定义了以下几个重要的属性:

  • json_count: 用于指定要请求的JSON文件数量,每个JSON文件包含多个图像条目。
  • url: 百度图片搜索的API URL,包含了多个参数用于构造请求。
  • directory: 存储下载图片的目录路径。这个路径在 create_directory 方法中被初始化和修改。
  • header: 请求头信息,包括用户代理、接受语言和引用页,用于模拟浏览器发送请求。

create_directory 方法

create_directory 方法根据提供的名称创建存储图片的文件夹。具体步骤如下:

  1. 将 directory 属性格式化为指定的存储目录路径。
  2. 使用 os.makedirs() 方法创建多层目录,如果目录不存在的话。
  3. 将 directory 属性更新为包含图片文件名格式的路径,以便后续保存图片时直接在该路径下生成文件。

get_image_link 方法

get_image_link 方法负责发送GET请求获取百度图片搜索返回的JSON数据,并解析数据提取图片的缩略图链接。具体步骤如下:

  1. 使用 requests.get() 方法发送GET请求,获取包含图片信息的JSON数据。
  2. 尝试解析返回的JSON数据,如果解析失败则捕获 json.JSONDecodeError 异常并打印错误信息。
  3. 如果JSON数据中包含 data 键,遍历数据条目并提取每个条目中的 thumbURL(缩略图链接),将其添加到 list_image_link 列表中。
  4. 如果JSON数据中不存在 data 键,则打印相应的错误信息并返回空列表。

save_image 方法

save_image 方法用于下载图片到本地存储。具体步骤如下:

  1. 使用 requests.get() 方法发送GET请求,获取包含图片数据的响应。
  2. 检查响应状态码,如果返回的状态码是404,则打印错误信息表示图片下载失败。
  3. 如果响应正常,将图片数据写入以指定文件名 filename 打开的二进制文件中(使用 “wb” 模式)。
  4. 打印存储图片的路径信息,表示图片已成功保存到本地。

run 方法

run 方法是爬虫的主运行函数,负责处理用户输入的查询内容,循环获取图片链接并下载到本地存储。具体步骤如下:

  1. 提示用户输入要查询的内容,并对用户输入的内容进行URL编码,以便构造百度图片搜索的查询URL。
  2. 调用 create_directory 方法创建存储图片的目录,目录名与用户输入的查询内容相关联。
  3. 初始化 pic_number 变量,用于记录已下载的图片数量。
  4. 使用循环从0到 json_count (设定的请求的JSON文件数量)遍历,构造不同页数的百度图片搜索URL,发送请求并获取图片链接。
  5. 遍历获取的图片链接列表,逐个下载图片到本地存储,并在每次下载后休眠1秒以防止IP被封禁。
  6. 下载完成后打印提示信息,指示所有图片已成功下载并存储到指定目录中。

以上详细解释了每个方法在爬虫实现中的作用和具体实现步骤,确保了爬虫能够有效地从百度图片搜索中获取指定数量的图片并保存到本地。

四、亮数据代理IP的使用

为什么需要代理IP

在爬取网站数据时,频繁的请求会被网站识别为异常流量,可能导致IP被封禁。使用代理IP可以隐藏真实IP,降低被封禁的风险。

如何在爬虫中配置代理IP

可以使用第三方代理IP服务商提供的代理IP池,例如requests库中的proxies参数。这里我采用的是亮数据IP代理服务。
在这里插入图片描述

修改代码以支持代理IP

在请求中添加代理IP,例如:

proxies = {'http': 'http://user:password@proxy_ip:port','https': 'https://user:password@proxy_ip:port',
}
requests.get(url, headers=self.header, proxies=proxies)

五、完整代码及运行结果

以下是完整的Python代码实现:

# -*- coding:utf8 -*-
import requests
import json
from urllib import parse
import os
import timeclass BaiduImageSpider(object):def __init__(self):self.json_count = 0  # 请求到的json文件数量(一个json文件包含30个图像文件)self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \'=201326592&is=&fp=result&queryWord={' \'}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word={' \'}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \'}&rn=30&gsm=1e&1635054081427= 'self.directory = r"C:\价值一个亿\python-mini-projects\projects\baidutupian\{}"  # 存储目录  这里需要修改为自己希望保存的目录  {}不要丢self.header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3','Accept-Language': 'en-US,en;q=0.9','Referer': 'https://image.baidu.com'}# 创建存储文件夹def create_directory(self, name):self.directory = self.directory.format(name)# 如果目录不存在则创建if not os.path.exists(self.directory):os.makedirs(self.directory)self.directory += r'\{}'# 获取图像链接def get_image_link(self, url):list_image_link =[]strhtml = requests.get(url, headers=self.header)  # Get方式获取网页数据print(f"Response content for URL {url}:\n{strhtml.text}\n")try:jsonInfo = json.loads(strhtml.text)except json.JSONDecodeError:print("Error decoding JSON")return list_image_linkif 'data' in jsonInfo:for index in range(len(jsonInfo['data'])):if 'thumbURL' in jsonInfo['data'][index]:list_image_link.append(jsonInfo['data'][index]['thumbURL'])else:print("No 'data' key in the response JSON")return list_image_link# 下载图片def save_image(self, img_link, filename):try:res = requests.get(img_link, headers=self.header)if res.status_code == 404:print(f"图片 {img_link} 下载出错")else:with open(filename, "wb") as f:f.write(res.content)print("存储路径:" + filename)except requests.RequestException as e:print(f"Error downloading image: {e}")# 入口函数def run(self):searchName = input("查询内容:")searchName_parse = parse.quote(searchName)  # 编码self.create_directory(searchName)pic_number = 0  # 图像数量for index in range(self.json_count):pn = index * 30request_url = self.url.format(searchName_parse, searchName_parse, str(pn))list_image_link = self.get_image_link(request_url)for link in list_image_link:pic_number += 1self.save_image(link, self.directory.format(str(pic_number) + '.jpg'))time.sleep(1)  # 休眠1秒,防止封ipprint(searchName + "----图像下载完成--------->")if __name__ == '__main__':spider = BaiduImageSpider()spider.json_count = 10  # 定义下载10组图像,也就是三百张spider.run()

演示爬虫的运行

运行以上代码,按照提示输入查询内容,爬虫将开始从百度图片搜索下载相关图片。

在这里插入图片描述

下载的图片展示

在这里插入图片描述

六、总结

本文详细介绍了如何使用Python编写一个简单的爬虫,用于从百度图片搜索下载图片。通过分析目标网站、设计爬虫流程、实现代码以及配置代理IP,使得爬虫能够有效地获取图片数据。通过本项目,读者可以学习到基本的爬虫原理和实现方法,同时也了解到了如何处理异常情况和优化爬虫效率的方法。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/36886.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

注意!!2024下《网络规划设计师》易混淆知识点来了,赶紧码住

宝子们,在复习软考网络规划设计师中,是不是觉得有很多知识点含义比较相近,很多友友刚看的时候,估计会像我一样把它们弄混,作为一个软考老鸟,在这里给大家整理了网规学习过程中易混淆的知识点,大…

Detailed Steps for Troubleshooting ORA-00600 [kdsgrp1] (文档 ID 1492150.1)

Detailed Steps for Troubleshooting ORA-00600 [kdsgrp1] (文档 ID 1492150.1)​编辑转到底部 In this Document Purpose Troubleshooting Steps References APPLIES TO: Oracle Database - Enterprise Edition Oracle Database Cloud Schema Service - Version N/A and lat…

Ngnix内存池——高并发实现高效内存管理

目录 一、高并发下传统方式的弊端 1、常用的内存操作函数 2、弊端一 3、弊端二 4、弊端三 5、弊端四 二、弊端解决之道 1、内存管理维度分析 2、内存管理组件选型 三、高并发内存管理最佳实践 1、内存池技术 2、内存池如何解决弊端 3、高并发内存池如何实现 四、…

《数字图像处理与机器视觉》案例二(基于边缘检测和数学形态学焊缝图像处理)

一、前言 焊缝是评价焊接质量的重要标志,人工检测方法存在检测标准不统一,检测精度低,焊缝视觉检测技术作为一种重要的质量检测方法,正逐渐在各行各业中崭露头角。把焊缝准确的从焊接工件中准确分割出来是焊缝评价的关键一步&…

linux上git的使用

目录 1.测试是否安装有git 2.下载项目到本地 3.三板斧 1.将代码放在创建的目录中 2.提交改动到本地 3.提交代码到远端 4.注意点 以及补充内容 1.测试是否安装有git 如果输入git --help 会显示下面一大串那么就是已经安装,否则需要自行手动安装 yum install g…

洁盟超声波清洗机怎么样?横向测评希亦、洁盟、苏泊尔超声波清洗机谁是实力派

生活中大多数人戴眼镜,但是很多人都不注意眼镜的保养,导致镜片越来越模糊,从而引发多边的状况发生,比如长久戴模糊不清的眼镜,视力会受到影响随之下降。甚至是眼镜长期不清洗,上面的灰尘、细菌会影响眼部健…

彩虹PLM系统在航空航天业的应用与实践

彩虹PLM系统在航空航天业的应用与实践 彩虹PLM系统作为航空航天业的卓越解决方案,已经在众多企业中得到了广泛的应用和实践。该系统通过其独特的功能和优势,为航空航天企业带来了显著的管理效益和市场竞争力提升。 彩虹PLM系统 在应用方面,彩…

1.2 离散LTI系统的时域分析

目录 离散系统的定义 离散LTI系统的时域描述h[k] 离散系统的分类 线性与非线性系统 时变与非时变系统 因果与非因果系统 稳定与不稳定系统 滑动平均系统 LTI——Linear and Time-invariant System 线性时不变系统 离散系统的定义 离散LTI系统的时域描述h[k] 离…

【并发编程】2-Synchronized

基本概念 线程安全问题三个要素:多线程、共享资源、非原子性操作;产生的根本原因:多条线程同时对一个共享资源进行非原子性操作;Synchronized解决线程安全问题的方式:通过互斥锁将多线程的并行执行变为单线程串行执行…

昇思25天学习打卡营第4天|数据集Dataset

数据集 Dataset 介绍 之前说过,MindSpore是基于Pipeline,通过Dataset和Transformer进行数据处理。Dataset在其中是用来加载原始数据的。mindSpore提供了数据集加载接口,可以加载文本、图像、音频等,同时也可以自定义加载接口。此…

【UE开发】游戏库存UI系统Demo

1.项目介绍 1.描述:一种用于存储记录玩家物品的游戏内可视化操作系统。 2.演示:https://www.bilibili.com/video/BV1f53neVEfW/?vd_source50dea901fd12253f417c48b937975b0d 3.大纲: 4.样式: 2.W_Inventory_Main_01(…

CORE Mobility Errorr的调试

在运行CORE tutorial 3中的mobility示例时,出现如下错误: 当看到这个问题的时候,并没有仔细去分析日志和现象,在core-daemon的进程打印界面只看了一下最后的出错堆栈: 2024-06-27 10:43:48,614 - ERROR - _server:_ca…

MySQL8 新特性——公用表表达式用法 with t1 as (select * from user)

MySQL8 新特性——公用表表达式用法_mysql ctes-CSDN博客 1.普通公用表表达式 MySQL8 新特性——公用表表达式用法 在MySQL 8.0及更高版本中,引入了公用表表达式(Common Table Expressions,CTEs),它是一种方便且可重…

docker部署vue项目

1.下载docker desktop软件 Docker Desktop启动的时候,有可能弹框提示"WSL2 installations is incomplete",这是您的系统中没有安装WSL2内核的原因,打开【https://aka.ms/wsl2kernel ,在打开的页面中有一个Linux内核更新包"链…

【python011】经纬度点位可视化html生成(有效方案)

1.熟悉、梳理、总结项目研发实战中的Python开发日常使用中的问题、知识点等,如获取省市等边界区域经纬度进行可视化,从而辅助判断、决策。 2.欢迎点赞、关注、批评、指正,互三走起来,小手动起来! 3.欢迎点赞、关注、批…

STM32将外部SDRAM空间作为系统堆(Heap)空间

概述 stm32可以外扩很大的sram,常见外部sram的初始化函数一般是c语言写的,默认写在main函数里面。stm32初始化首先进入汇编代码startup_stm32f429xx.s,在汇编代码中Reset_Handler(复位中断服务程序)里面先调用了Syste…

vue + Lodop 制作可视化设计页面 实现打印设计功能(二)

历史: vue2 Lodop 制作可视化设计页面 实现打印设计功能(一) 前言: 之前本来打算用直接拿之前做的vue2版本改改就发的,但考虑到现在主流都是vue3了,所以从这篇文章开始使用vue3来写,以及最后…

三相LCL滤波型PWM逆变器仿真设计

参考并网电流外环电容电流前馈内环的双闭环控制结构,在光伏和风力发电网侧变换器中的应用,可以显著提高系统的稳定性和效率。在并网电流外环中,通过检测电网电流并与其参考值进行比较,可以得到一个电流误差信号。这个电流误差信号…

MySQL基础查询与复杂查询

基础查询 1、查询用户信息,仅显示用户的姓名与手机号,用中文显示列名。中文显示姓名列与手机号列。 2、根据商品名称进行模糊查询,模糊查询需要可以走索引,需要给出explain语句。使用explain测试给出的查询语句,需要显…

程序员职业发展指南,如何选择适合自己的就业方向?

随着科技的发展和数字化时代的到来,程序员是IT行业中的热门职业。尤其是近几年移动互联网的迅速发展,IT人才更是紧缺,越来越多的人加入程序员这个行列。 从事程序员工作,如何接项目呢?YesPMP是一个专注于互联网外包的平…