根据关键词query获取google_img(api方式)

文章目录

  • 说明
  • 代码
    • 第一部分:链接保存为Json
    • 第二部分:链接转换为img

说明

根据关键词query获取google_img

USERNAME = “xxx”
PASSWORD = “xxx”

官网申请。

代码

首先获取图片链接,保存为json之后下载。

第一部分:链接保存为Json

import requests
from pprint import pprint
import pandas as pd
from tqdm import tqdm
import json
import time
import osname_list = ["cat","dog"]
USERNAME = "xxx"
PASSWORD = "xxx"
for object_name in name_list:start_page = 1length = 1total_it = 70print(object_name)for i in tqdm(range(total_it),desc=object_name):payload = {'source': 'google_search','domain': 'nl','query': object_name,'parse': True,'context': [{'key': 'tbm', 'value': 'isch'},],'start_page' : start_page,'pages' : length    }end_page = start_page+length# Get response.response = requests.post('https://realtime.oxylabs.io/v1/queries',auth=(USERNAME, PASSWORD),json=payload,)if not os.path.exists(f'./google_data/{object_name}'):os.makedirs(f'./google_data/{object_name}')with open(f'./google_data/{object_name}/object_name_page_{start_page}_to_{end_page}.json', 'w') as f:json.dump(response.json(), f,indent=4)start_page = end_pagetime.sleep(3)

第二部分:链接转换为img

import json
from tqdm import tqdm
import requests
import os 
folder = './google_data'
subname_list = os.listdir(folder)
down_folder = './google_image/img_download'
os.makedirs(down_folder,exist_ok=True)
fail_list = []
for subname in subname_list:subfolder = os.path.join(folder,subname)path_lists = os.listdir(subfolder)cnt = 0img_down_list = []for mypath in path_lists:json_path = os.path.join(subfolder,mypath)with open(json_path) as file:data = json.load(file)try:img_urls = data['results'][0]['content']['results']['organic']for img_url_item in tqdm(img_urls,desc=f'{subname}-{mypath[-7:-5]}'): img_url = img_url_item['image']if img_url in img_down_list:continueelse:img_down_list.append(img_url)# try:#     # except:#     print('None')if 'http' in img_url:response = requests.get(img_url)if response.status_code == 200:os.makedirs(f'./{down_folder}/{subname}',exist_ok=True)with open(f'./{down_folder}/{subname}/{subname}_{cnt}.jpg', 'wb') as file:file.write(response.content)#print('图片下载成功')cnt += 1else:print('图片下载失败,状态码:', response.status_code)  #print(img_url)except:print(subname)fail_list.append(subname)#break#break
#print(fail_list)
unique_set = set(fail_list)
unique_list = list(unique_set)
print(unique_list)
filename = 'my_list.txt'# 打开文件进行写入
with open(filename, 'w') as file:for item in unique_list:# 写入每个元素,每个元素后面跟一个换行符file.write(item + '\n')

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/44205.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

.net 8 使用 quic 协议通讯

debian环境安装 quic支持 # 1. 添加unstable仓库(如果您使用的是Debian的不稳定分支) sudo apt install apt-transport-https ca-certificates sudo wget -O /etc/apt/trusted.gpg.d/microsoft.gpg https://packages.microsoft.com/keys/microsoft.asc …

【独家揭秘】视频号矩阵系统火爆上线,一键式多平台管理,你的内容营销神器!

在信息爆炸的时代,内容创作者们面临着前所未有的挑战与机遇。如何让自己的内容在众多平台中脱颖而出,快速传播并吸引大量观众,成为了每个创作者关注的焦点。近日,一款名为“迅狐视频号矩阵系统”的神器震撼来袭,它以其…

UV胶,它是否有毒?如同那些隐藏在黑暗中的危险之物?

UV胶,它是否有毒?如同那些隐藏在黑暗中的危险之物? 关于uv胶的毒性问题,或许我们可以这样深入探讨。UV胶,如同一位戴着神秘面纱的访客,在我们的生活中悄然出现,却带着诸多疑问。那么&#xff0…

二维码生成需知:名片二维码尺寸多少合适?电子名片二维码制作方法?

随着数字化时代的到来,二维码在各个领域的应用越来越广泛,名片作为商业交流的重要工具之一,也开始逐渐融入二维码的元素。通过在名片上添加二维码,我们可以轻松实现信息的快速传递和分享。然而,名片二维码的尺寸选择成…

Monorepo仓库管理策略之 Lerna

这里写目录标题 前言:一、简介二、新建项目使用安装生成结构 三、复用现有项目执行命令查看包 四、配置package相互引用导入现有的包 五、发布包确定项目版本发布项目添加项目到到git发布包到NPM包发布出错解决方案 五、实例代码 前言: 将大型代码仓库分…

Python 与扣子 API的链接

当 Python 与各种 API 进行链接时,更是能碰撞出无数精彩的火花,为我们的开发工作带来极大的便利和创新。今天,咱们就来聊聊 Python 与扣子 API 的链接那些事儿。 扣子 API 作为一种新兴的技术接口,为我们提供了丰富的数据和功能。…

文心一言的流式接口数据进行处理 增加属性

需求:需要对文心一言的流式接口数据进行处理 增加属性 return ResponseEntity.ok().header("Access-Control-Allow-Origin", "*").contentType(org.springframework.http.MediaType.TEXT_EVENT_STREAM).cacheControl(org.springframework.http…

python调用串口收发数据

1、确认串口信息 2、安装pyserial库 打开终端或命令行,敲入这行命令:pip install pyserial 3、python编程 import serial def main(): #创建串口对象 ser serial.Serial(COM4, 9600, timeout1) if not ser.isOpen(): print("串…

飞睿智能6公里WiFi图传接收模块,低延迟、抗干扰、高速稳定传输数据,无人机、农田远距离WiFi模块

在科技日新月异的今天,无线通信技术正以前所未有的速度发展,不仅改变了我们的生活方式,还为企业带来了前所未有的商业机遇。今天,我要向大家介绍一款飞睿智能的产品——6公里WiFi图传接收模块,它以其高性能、稳定的传输…

【常见的设计模式】单例模式

参考:【设计模式专题之单例模式】1.小明的购物车 【设计模式专题之单例模式】 1.小明的购物车 时间限制:1.000S 空间限制:256MB   题目描述 小明去了一家大型商场,拿到了一个购物车,并开始购物。请你设计一个购物车管…

【React】基础数据回填--useForm与setFieldsValue详解

相关属性 1.form 2.setFieldsValue 代码 import{Form }from"antd";const Publish =

体积大的快递怎么寄便宜?如何寄件寄包裹更省钱?

大学毕业了,面对即将到来的工作生活,小李不得不把宿舍里的大包小包打包寄回家。可是,当他真正开始打包行李时,才发现这可不是一件简单的事:衣服、被子、书籍、杂物……这些东西加起来体积不小,想要省钱寄快…

虚拟化技术 DeskV(或Desktop Virtualization)

DeskV(或Desktop Virtualization),即桌面虚拟化技术,是一种将计算机的桌面系统(包括操作系统、应用程序和用户数据)进行虚拟化,以实现桌面使用的安全性和灵活性的技术。以下是关于DeskV&#xf…

基于stm32单片机的智能手环的设计

摘 要 随着科技的飞速发展和人们生活水平的提高,健康与科技日益融合,智能可穿戴设备已成为现代人生活中不可或缺的一部分。智能手环,作为一种便携、实用且功能丰富的可穿戴设备,受到越来越多用户的喜爱。它不仅能够实时监测用户的…

简化嵌入式Linux开发:在Ubuntu上安装和配置交叉编译环境的高效方法

在嵌入式Linux开发中,我们通常需要在Ubuntu上安装交叉编译工具链,并配置相关文件。编译过程中,如果遇到依赖库问题,还需要手动查找并编译开源源码。这些步骤较为繁琐,为了简化操作,我们可以尝试以下方案&am…

深度解析:银行小额支付与大额支付的关键区别与应用场景

一、交易金额 小额支付:通常适用于金额在5万元以下的支付场景。这种支付方式更适合个人用户或小额交易场景,如便利店购物、支付停车费、小额汇款等。大额支付:涉及金额较大的支付交易,一般被定义为单笔交易金额超过一定数额&…

特殊的“user profile service服务登录失”情况

记录一下比较特殊的user profile service服务登录失败情况 公司电脑,某次之后每次来公司电脑开机后就会出现这个情况,后来发现只要是关机后再开机百分百出现,重启就不会,一开始也百度、google了,网上有很多解决方式&am…

DropNotch for Mac v1.0.1 在 Mac 刘海快速使用 AirDrop

应用介绍 DropNotch 是一款专为Mac设计的应用程序,可以将MacBook的凹口区域(刘海)转换为文件放置区。 功能特点 文件共享: 用户可以将文件拖放到MacBook的凹口区域,并通过AirDrop、邮件、消息等方式轻松共享。多显示器支持: 即…

.Net C#执行JavaScript脚本

文章目录 前言一、安装二、执行 JavaScript 脚本三、与脚本交互四、JS 调用 C# 方法五、多线程使用总结 前言 ClearScript 是一个 .NET 平台下的开源库,用于在 C# 和其他 .NET 语言中执行脚本代码。它提供了一种方便和安全的方法来将脚本与应用程序集成,…

PHP酒店宾馆民宿多商户版系统小程序源码

解锁酒店新境界!揭秘多商户版系统的无限可能🏨✨ 🚀 开篇:酒店业的新革命,多商户版系统来袭! 你是否梦想过将你的酒店打造成一个集餐饮、娱乐、购物于一体的综合型休闲空间?现在,这…