Python 报错 Max retries exceeded with url 解决方案

下面有三个常见的方法:

1、增加重试连接次数:

requests.DEFAULT_RETRIES = 5

2、关闭多余的链接:

默认的http connection是keep-alive的,在post请求中,header中有这样一个字段:Connection,我们将其置为’close’

monitor_header = {"Content-type":"application/json","Accept":"*/*","Connection":"close"
}

s = requests.session()
s.keep_alive = False

requests使用了urllib3库,默认的http connection是keep-alive的,requests设置False关闭。

3、请求时增加缓冲延时sleep

多线程进行post请求时,可以进行分批次的发请求,发完一次sleep一段时间:

time.sleep(60)

def get_machine_quality(mapping):threads = []list_machine_obj = []now_time = time.time()for value in mapping.values():for v in value:machine_obj = quality_data(v, 0, now_time)list_machine_obj.append(machine_obj)index = 0for value in mapping.values():for v in value:# 创建新线程thread_tmp = my_thread(v, threadfunc_get_machine_quality, list_machine_obj[index])# 添加线程到线程列表threads.append(thread_tmp)index += 1# 开启新线程length = len(threads)part = 4for i in range(0,part):start = int(i / part * length)end = int((i + 1) / part * length)for i in range(start, end):threads[i].start()for i in range(start, end):threads[i].join()time.sleep(60)print(str(start) + "to" + str(end))logging.critical(str(start) + "to" + str(end))# print ("退出主线程")return list_machine_obj  

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/34829.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

抖音集团基于 Apache Doris 的实时数据仓库实践

作者:字节跳动数据平台 在直播、电商等业务场景中存在着大量实时数据,这些数据对业务发展至关重要。而在处理实时数据时,我们也遇到了诸多挑战,比如实时数据开发门槛高、运维成本高以及资源浪费等。 此外,实时数据处…

游戏心理学Day26

游戏测试 我们能够成为创建游戏机制和系统的专家,却无法在没有测试数据支持的情况下,妄言游戏的真实品质。因为游戏更关注的是人的感受而非系统,毕竟系统通常都很清晰且符合逻辑,而玩家的感受却个人化且难以洞悉。我们能够在自身…

C#面试题目含参考答案(四)

前言 面试是应聘一个工作岗位的环节,来考察一个人的工作能力与综合素质。在应聘C#程序员或与C#相关岗位时,我们都会被问到一些与.NET、C#、数据库、业务知识或编程思想等问题。本文列举一些问题及提供参考答案,题目(四&#xff0…

用谷歌Gemini免费批量生成微信公众号图书带货文章

谷歌Gemini 的api现在是免费的,功能很强大。可以在其官网简单几步操作申请到API:https://ai.google.dev/pricing 以上是一些Excel表格中的图书名称,现在要通过谷歌Gemini来批量生成这些图书的带货推广文章。 ChatGPT中输入提示词&#xff1a…

NVIDIA GPU参数

NVIDIA作为全球领先的GPU制造商,其产品广泛应用于深度学习、机器学习、高性能计算(HPC)和图形计算等领域。以下是NVIDIA一系列GPU的性能参数概述: V100 Tensor Core GPU V100是NVIDIA的一款高性能GPU,专为深度学习、机…

java对word文档预设参数填值并生成

目录 (1)定义word文档模板 (2)模板二次处理 处理模板图片,不涉及图片可以跳过 处理模板内容 (3)java对word模板填值 (4)Notepad的XML Tools插件安装 工作上要搞一个…

什么是服务器硬盘?

什么是服务器硬盘呢? 服务器硬盘顾名思义,指的就是在服务器上所使用的硬盘,如果服务器是数据网络中的核心部分,那么服务器硬盘则是指数据网络核心的数据仓库,其中所有的软件应用与用户数据信息都是存储在服务器硬盘当中…

C#与工业自动化结合还有搞头吗?

在开始前刚好我有一些资料,是我根据网友给的问题精心整理了一份「c#的资料从专业入门到高级教程」, 点个关注在评论区回复“666”之后私信回复“666”,全部无偿共享给大家!!!当然有搞头!C#是一…

Java 8 新特性:Lambda表达式让你的代码焕然一新——掌握它,让编程变得轻松又高效!

前言 Java 8 是 Java 发展史上的一次重要里程碑。作为企业级开发语言,它在性能和功能上做了巨大的提升。这其中,Lambda表达式是一个关键的新特性,它为 Java 语言带来了函数式编程的概念。本篇文章将深入探讨Lambda表达式,并结合热…

中断变轮询的一种机制

前言 MCU中断嵌套中断很容易引起问题,例如我们在MCU中引入串口shell,封装一些指令,如果这些指令中需要调用其他中断,例如I2C发送中断等,就很容易引起问题,这个时候我们就需要搞一个缓冲机制 思考 那么应…

element 问题整合

没关系,凡事发生必有利于我 文章目录 一、el-table 同级数据对齐及展开图标的位置问题二、el-table 勾选框为圆角及只能勾选一个 一、el-table 同级数据对齐及展开图标的位置问题 element 官方提供的扩展tree型数据在表格里默认是靠左边对齐,项目需求需要…

超越边界:探索深度学习的泛化力量

深度学习的泛化能力 一. 简介1.1 深度学习的定义1.2 什么是泛化能力1.3 深度学习模型的泛化能力1.4 提升深度学习模型的泛化能力 二. 泛化能力的重要性2.1 深度学习中泛化能力的作用2.1.1 防止过拟合2.1.2 处理噪声和不完整数据2.1.3 对于数据分布的变化具有适应性 2.2 泛化能力…

Gitlab合并代码并解决冲突演示

天行健,君子以自强不息;地势坤,君子以厚德载物。 每个人都有惰性,但不断学习是好好生活的根本,共勉! 文章均为学习整理笔记,分享记录为主,如有错误请指正,共同学习进步。…

【SQL】数据操作语言(DML) - 删除数据:精细管理数据的利刃

目录 前言 DELETE语句的基础使用 删除指定记录 清空表与删除表数据的区别 注意 前言 在数据库管理的日常工作中,数据的删除是一项需要格外小心的操作,因为一旦数据被删除,往往难以恢复。数据操作语言(DML)中的DELETE语句&am…

景区智能厕所系统让旅游更便捷、更舒适

在旅游业蓬勃发展的今天,游客对于旅游体验的要求越来越高,而景区的基础设施建设也在不断创新和完善。其中,景区智能厕所系统的出现,无疑为游客带来了更加便捷、舒适的旅游体验。 一、智能厕所系统首先体现在其精准的定位和引导功能…

20个你必须知道的Linux小命令

20个你必须知道的Linux小命令 Linux系统强大的命令行工具让我们可以高效地管理和监控系统。本文将介绍20个分门别类的小命令,它们的安装方式和使用技巧,希望能提升你的工作效率。 系统监控 1. htop 简介:htop 是一个交互式的进程查看器,比 top 更友好且功能更强大。 特…

three.js 第六节 - 纹理以及贴图【.hdr文件(hdr贴图)】- 色彩空间

素材 这是素材 更多素材、案例、项目 好几个G一共,加我q178373168,60大洋拿走 源码 源码 // ts-nocheck // 引入three.js import * as THREE from three // 导入轨道控制器 import { OrbitControls } from three/examples/jsm/controls/OrbitControls…

C# 判断值是否在枚举里

你还在代码里面通篇通过数字的定义类型。比如type为1 表示xx,type为2 表示yy吗?然后程序里面通过数字1和2来判断吗?比如下面类似的代码: if(type1){ //.... } else if(type2){ //... } else if(type3){ //... } 老鸟们一般都会用枚举来定义…

MySQL索引,事务

一.MySQL索引介绍 索引是一个排序的列表,在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址。在数据十分大的时候,索引可以大大加快查询的速度。这是因为使用索引后可以不用扫描全表来定位某行的数据,而是先通过索引表找到该行数…

【LeetCode 274】H指数

1. 题目 2. 分析 这题没啥难度,需要熟练运用Python API。 sort(reverseTrue)可以用于排序List,并且倒序排序。 3. 代码 class Solution:def hIndex(self, citations: List[int]) -> int:citations.sort(reverseTrue)res 0for idx,cite in enume…