Python实现GCS bucket断点续传功能,分块上传文件

Python实现GCS bucket断点续传功能,分块上传文件 

环境:Python 3.6

我有一个关于使用断点续传到Google Cloud Storage的上传速度的问题。我已经编写了一个Python客户端,用于将大文件上传到GCS(它具有一些特殊功能,这就是为什么gsutil对我公司不适用的原因)。在大约2个月前运行的测试中,它很好地利用了可用的连接带宽,其中25Mbps连接中大约有20Mbps。该项目被冻结了将近2个月,现在,当重新打开该项目时,同一客户端以非常慢的速度上载,速度约为25Mbps的1.4Mbps。我已经编写了简单的Python脚本来检查它是否也会遇到相同的问题,并且速度稍快一些,但仍约为2Mbps。Gsutil工具的执行效果几乎与我的Python脚本相同。我还以超过50Mbps的上传速度在不同的网络基础架构上运行了该测试,效果非常好。

参考地址:Requests Utilities — google-resumable-media documentation

import google.auth
import google.auth.transport.requests as tr_requests
ro_scope = u'https://www.googleapis.com/auth/devstorage.read_only'
credentials, _ = google.auth.default(scopes=(ro_scope,))
transport = tr_requests.AuthorizedSession(credentials)
from google.resumable_media.requests import ResumableUpload
import iobucket_name='xxxxxxx' # 桶名
csvfile_name = 'xxxxxxxxxxxxxxxxxxxx' # 文件名路径url_template = (u'https://www.googleapis.com/upload/storage/v1/b/'+ bucket_name +'/o?'u'uploadType=resumable')upload_url = url_template.format(bucket=bucket_name)# 分块传输的大小
chunk_size = 1024 * 1024 * 33  # 33MB# 开始断点续传,并分块,意思是说,一个文件比如50M,33M每块要执行两次这个语句
upload = ResumableUpload(upload_url, chunk_size)print(response)
print(upload.resumable_url == response.headers[u'Location'])
print(upload.total_bytes == len(data))
upload_id = response.headers[u'X-GUploader-UploadID']
print(upload_id)
print(upload.resumable_url == upload_url + u'&upload_id=' + upload_id)
response0 = upload.transmit_next_chunk(transport)
print(response0)
print(upload.finished)
print(upload.bytes_uploaded == upload.chunk_size)
response1 = upload.transmit_next_chunk(transport)
print(response1)
print(upload.finished)
print(upload.bytes_uploaded == 2 * upload.chunk_size)
response2 = upload.transmit_next_chunk(transport)
print(response2)
print(upload.finished)
print(upload.bytes_uploaded == upload.total_bytes)
json_response = response2.json()
print(json_response[u'bucket'] == bucket)
print(json_response[u'name'] == blob_name)

任何程序错误,以及技术疑问或需要解答的,请添加

​​​​​​​​​​​​​​

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/546898.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring Boot 最佳实践(一)快速入门

一、关于Spring Boot 在开始了解Spring Boot之前,我们需要先了解一下Spring,因为Spring Boot的诞生和Spring是息息相关的,Spring Boot是Spring发展到一定程度的一个产物,但并不是Spring的替代品,Spring Boot是为了让程…

Wo Cloud CentOS 挂载磁盘小计

为什么80%的码农都做不了架构师?>>> 涉及到的命令:fdisk/mkfs/mount 列出当前磁盘[rootvity ~]# fdisk -lDisk /dev/vda: 21.5 GB, 21474836480 bytes 16 heads, 63 sectors/track, 41610 cylinders Units cylinders of 1008 * 512 516096…

PC通过IE浏览器对华为S5700交换机进行WEB管理

1.PC和交换机通过网线连接,通过CONSOLE线缆连接华为S5700交换机,使用如下命令查看是否有web.7z文件 <Quidway>dir2.新建VLAN和配置VLAN的IP <Quidway>system-view [Quidway]<

最邻近插值、双线性插值、三次卷积插值最通俗入门理论解析,论文材料

如有任何问题&#xff0c;请联系VX&#xff1a;1755337994 前言 图像处理中有三种常用的插值算法&#xff1a; 最邻近插值 双线性插值 双立方&#xff08;三次卷积&#xff09;插值 其中效果最好的是双立方&#xff08;三次卷积&#xff09;插值&#xff0c;本文介绍它的原…

Spring Boot 最佳实践(二)集成Jsp与生产环境部署

一、简介 提起Java不得不说的一个开发场景就是Web开发&#xff0c;也是Java最热门的开发场景之一&#xff0c;说到Web开发绕不开的一个技术就是JSP&#xff0c;因为目前市面上仍有很多的公司在使用JSP&#xff0c;所以本文就来介绍一下Spring Boot 怎么集成JSP开发&#xff0c…

Linux网络编程之TCP/IP实现高并发网络服务器设计指南

目录 引言&#xff1a; 多进程服务器 例程分享&#xff1a; 多线程服务器 例程分享&#xff1a; I/O多路复用服务器 select 例程分享&#xff1a; poll 例程分享&#xff1a; epoll 例程分享&#xff1a; 总结建议 引言&#xff1a; 随着互联网的迅猛发展&#xff…

C#自动实现Dll(OCX)控件注册的两种方法

尽管MS为我们提供了丰富的.net framework库&#xff0c;我们的程序C#开发带来了极大的便利&#xff0c;但是有时候&#xff0c;一些特定功能的控件库还是需要由第三方提供或是自己编写。当需要用到Dll引用的时候&#xff0c;我们通常会通过“添加引用”的方式将它们纳入到项目中…

PyCharm+Python3转换xls文件为xlsx文件格式

import os import os.path import win32com.client as win32"""主函数功能测试""" if __name__ __main__:xlsFilePath os.path.join(os.getcwd() "\\" "通知单.xls")# 文件存在就加载&#xff0c;不存在就提示检查。if …

全网最详细 Python如何读取NIFTI格式图像(.nii文件)和 .npy格式文件和pkl标签文件内容

在医学图像处理中&#xff0c;我们经常使用一种NIFTI格式图像&#xff08;.nii文件&#xff09;&#xff0c;现在我们来看看 什么是.nii文件&#xff1f;该如何读取.nii文件&#xff1f; 1. NIFTI格式图像 什么是NIFTI&#xff08;Neuroimaging Informatics Technology Initia…

十三、PyQt5的QFileDialog文件打开、文件保存、文件夹选择对话框

import PyQt5.QtCore,PyQt5.QtGui # 获取文件路径对话框 file_name = QFileDialog.getOpenFileName(self,"打开文件","C:\\Users\\Administrator\\Desktop","Txt files(*.txt)") ##"open file Dialog "为文件对话框的标题,第三个是打…

Spring Boot 最佳实践(三)模板引擎FreeMarker集成

一、FreeMaker介绍 FreeMarker是一款免费的Java模板引擎&#xff0c;是一种基于模板和数据生成文本&#xff08;HMLT、电子邮件、配置文件、源代码等&#xff09;的工具&#xff0c;它不是面向最终用户的&#xff0c;而是一款程序员使用的组件。 FreeMarker最初设计是用来在M…

Android开发之通过浏览器链接打开任意app页面

老套路先上图&#xff1a; 先说下上面的流程&#xff0c;第一张图是模拟浏览器的网页点击链接打开app,第二张图系统弹框提示是否打开app,第三张图已打开APP&#xff0c;弹出的吐司是打开APP携带的数据 具体实现分为两步&#xff0c;第一步配置你要打开的activity页面如下&…

windows2008C盘清理

因为原来的设计&#xff0c;现在C盘的空间只有2G了&#xff0c;今天在网上看到了清理的方法&#xff0c;居然清理出4G出来&#xff0c;先把方法记录下来&#xff0c;以备以后使用。我们建议您通过以下方法来清理C盘空间&#xff1a;1.尽量不要在C盘安装应用软件&#xff0c;在软…

DVWA下载、安装、使用(漏洞测试环境搭建)教程

DVWA&#xff08;Damn Vulnerable Web Application&#xff09;是一个用来进行安全脆弱性鉴定的PHP/MySQL Web应用&#xff0c;旨在为安全专业人员测试自己的专业技能和工具提供合法的环境&#xff0c;帮助web开发者更好的理解web应用安全防范的过程。 一共有十个模块&#xf…

Spring Boot 最佳实践(四)模板引擎Thymeleaf集成

## 一、Thymeleaf介绍 Thymeleaf是一种Java XML / XHTML / HTML5模板引擎&#xff0c;可以在Web和非Web环境中使用。它更适合在基于MVC的Web应用程序的视图层提供XHTML / HTML5&#xff0c;但即使在脱机环境中&#xff0c;它也可以处理任何XML文件。它提供了完整的Spring Fram…

Centos7安装Postgresql 13 详细步骤(远程连接)

版本信息 CentOS &#xff1a; 7.6 postgresql&#xff1a; 10.012 安装 可以参考官网PostgreSQL: Linux downloads (Red Hat family) &#xff03;安装存储库RPM&#xff1a; sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgd…

mysql复制: 一个master对应1个slave

2019独角兽企业重金招聘Python工程师标准>>> 复制的步骤&#xff1a;1.在主库上开启二进制日志&#xff0c;把数据更改记录到二进制日志(binary log)中. mysql会按照事物提交的顺序而非每条语句的执行顺序来记录二进制日志&#xff0c;在记录二进制日志后&#xff…

python3、sqlmap下载与安装教程

一 、前提 需要安装python3&#xff0c;可以参考其他教程 二 、下载 官网下载http://sqlmap.org/ 三 、安装 将下载的sqlmap.zip解压到文件夹sqlmap中&#xff0c;并拷贝到Python安装路径下 四、 配置 在桌面上创建一个cmd进入python的快捷方式&#xff08;这步可以不做…

Spring Boot 最佳实践(五)Spring Data JPA 操作 MySQL 8

## 一、Spring Data JPA 介绍 JPA&#xff08;Java Persistence API&#xff09;Java持久化API&#xff0c;是 Java 持久化的标准规范&#xff0c;Hibernate是持久化规范的技术实现&#xff0c;而Spring Data JPA是在 Hibernate 基础上封装的一款框架。 开发环境 Spring Boo…

Windows MinGW配置C、C++编译环境

写在前面的前面&#xff1a;这篇文章vscode和cpp插件版本有点老了&#xff0c;仅供大家参考&#xff0c;最新的和最详细的更新见我的另一篇文章&#xff1a;整理&#xff1a;Visual Studio Code (vscode) 配置C、C环境/编写运行C、C&#xff08;主要Windows、简要Linux&#xf…