背景:
一些google cloud storage文件的下载是需要付费的,一些是不需要的,不需要的直接点击下方的下载按钮即可,但是常常存在大量的文件下载,挨个下载有点费时间而且占内存,所以我尝试了批量下载到HPC:
解决方法:
还是以Enformer数据的下载为例:
1.首先创建项目,或者用之前的项目都可以。
2.然后选中要下载的文件,点击下载
3.点击复制:
4.修改指令,并使用项目名称
gcloud storage cp we_need_down_file we_local_storge_file --billing-project=projectID
注意:3中复制的语言需要修改:1)去掉开始位置的 \ 2)删除” 前后的空格 3) 最简单的方法去chatgpt粘贴一下,他会给你正确的格式(已经崩溃,自己改了好多次没改对……),所以最后的样子应该是
我是先cd进了目标文件夹,所以保存的local路径是 .
gcloud storage cp "gs://basenji_hic/gtex_fine/tissues_susie/Heart_Atrial_Appendage.tsv" \
"gs://basenji_hic/gtex_fine/tissues_susie/Heart_Left_Ventricle.tsv" \
"gs://basenji_hic/gtex_fine/tissues_susie/Kidney_Cortex.tsv" . --billing-project=projectID