Nuscenes 完整版数据集批量下载
需求: 高速下载Nuscenes完整版数据集。采用google浏览器自带工具下载,速度慢,且容易断。
- 数据地址
官方地址:https://www.nuscenes.org/nuscenes
如何获取 Nuscenes 数据集的路径
安装插件
chrono
复制网址
选择要下载的文件夹,新建脚本dataset.sh,内容如下,主要格式为:wget -c -O [数据集名字] [网页下载链接]。
wget -c -O v1.0-trainval01_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval01_blobs.tgz"
wget -c -O v1.0-trainval02_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval02_blobs.tgz"
wget -c -O v1.0-trainval03_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval03_blobs.tgz"
wget -c -O v1.0-trainval04_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval04_blobs.tgz"
wget -c -O v1.0-trainval05_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval05_blobs.tgz"
wget -c -O v1.0-trainval06_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval06_blobs.tgz"
wget -c -O v1.0-trainval07_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval07_blobs.tgz"
wget -c -O v1.0-trainval08_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval08_blobs.tgz"
wget -c -O v1.0-trainval09_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval09_blobs.tgz"
wget -c -O v1.0-trainval10_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-trainval010_blobs.tgz"
wget -c -O v1.0_meta.tgz "https://d36yt3mvayqw5m.cloudfront.net/public/v1.0/v1.0-trainval_meta.tgz"
wget -c -O v1.0-test_blobs.tgz "https://motional-nuscenes.s3.amazonaws.com/public/v1.0/v1.0-test_blobs.tgz"
wget -c -O v1.0-test_meta.tgz "https://d36yt3mvayqw5m.cloudfront.net/public/v1.0/v1.0-test_meta.tgz"
创建 Nuscenes data文件夹和vim 写代码
mkdir Nuscenes
cd Nuscenes
vim datadowload.sh
#按i后,将上面的代码复制到里面 按 esc
#按 :wq 保存更改并推出vim书写模型
bash dataload.sh # 实行脚本
注意:如果中途断掉,重新执行脚本即可。
开始下载
检验
md5sum v1.0-trainval07_blobs.tgz
这行代码使用的是 md5sum 命令,它是一个在Unix和类Unix操作系统中常见的命令行工具,用于计算和校验文件的MD5(Message-Digest Algorithm 5)哈希值。MD5是一种广泛使用的加密哈希函数,可以产生一个128位(16字节)的哈希值(通常作为32位十六进制数字表示),用于确保文件的完整性。
具体来说,这行代码的作用是:
md5sum
:调用md5sum程序。
v1.0-trainval07_blobs.tgz
:指定要计算MD5哈希值的文件名。
执行这条命令后,系统会读取 v1.0-trainval07_blobs.tgz 文件的内容,计算其MD5哈希值,然后将这个哈希值和文件名一同输出到标准输出(通常是终端或控制台)。这个哈希值可以用于后续检查文件是否在传输或存储过程中被篡改。
例如,输出可能看起来像这样:
e4d909c290d0fb1ca068ffaddf22cbd0 v1.0-trainval07_blobs.tgz
这里,e4d909c290d0fb1ca068ffaddf22cbd0
就是文件 v1.0-trainval07_blobs.tgz
的MD5哈希值。通过比较不同时间点或不同来源的同一文件的MD5哈希值,可以检查文件是否保持不变
这里是2024/03/11
的网址,可能会改变,按照上面的方法来更改路径即可
解压 Nuscenes 的文件和删除原来的压缩文件的代码 sh文件如下
tar -zvxf v1.0-trainval01_blobs.tgz && rm v1.0-trainval01_blobs.tgz
tar -zvxf v1.0-trainval02_blobs.tgz && rm v1.0-trainval02_blobs.tgz
tar -zvxf v1.0-trainval03_blobs.tgz && rm v1.0-trainval03_blobs.tgz
tar -zvxf v1.0-trainval04_blobs.tgz && rm v1.0-trainval04_blobs.tgz
tar -zvxf v1.0-trainval05_blobs.tgz && rm v1.0-trainval05_blobs.tgz
tar -zvxf v1.0-trainval06_blobs.tgz && rm v1.0-trainval06_blobs.tgz
tar -zvxf v1.0-trainval07_blobs.tgz && rm v1.0-trainval07_blobs.tgz
tar -zvxf v1.0-trainval08_blobs.tgz && rm v1.0-trainval08_blobs.tgz
tar -zvxf v1.0-trainval09_blobs.tgz && rm v1.0-trainval09_blobs.tgz
tar -zvxf v1.0-trainval10_blobs.tgz && rm v1.0-trainval10_blobs.tgz
tar -zvxf v1.0-trainval_meta.tgz && rm v1.0-trainval_meta.tgz
tar -zvxf v1.0-test_blobs.tgz && rm v1.0-test_blobs.tgz
tar -zvxf v1.0-test_meta.tar && rm v1.0-test_meta.tar
#lidarseg
#tar -xf nuScenes-lidarseg-all-v1.0.tar && rm nuScenes-lidarseg-all-v1.0.tar
参考