Google Colab简介
Google Colaboratory是谷歌开放的一款研究工具,主要用于机器学习的开发和研究。这款工具现在可以免费使用。Google Colab最大的好处是给广大的AI开发者提供了免费的GPU使用!GPU型号是Tesla K80!你可以在上面轻松地跑例如:Keras、Tensorflow、Pytorch等框架。
目录
1. Google云端硬盘(Google drive)
2. 关联 Colaboratory
3. 创建 Colaboratory 笔记本
4. 使用 Colaboratory(重点)
5. 挂载Google Drive
1. Google云端硬盘(Google drive)
首先,打开谷歌,登陆你的 Google 账号。
登录 Google 账号之后,在页面右上角的 Google 应用里就可进入云端硬盘里。这相当于百度网盘,可以存储我们的文件。
Google 硬盘真是良心啊,每个人都有 15 G 的免费空间可以使用。如果觉得空间不够的话可以升级。
2. 关联 Colaboratory
进入 Google 云端硬盘之后,需要关联 Colaboratory。点击我的云端硬盘 -> 更多 -> 关联更多应用。我已经关联了 Colaboratory。Colaboratory相当于一个云服务器,Ubuntu服务器。内置好了CPU和GPU。
然后,搜索并找到 Colaboratory,然后关联。
这样,Google 云端硬盘就完成了与 Colaboratory 的关联,我们就可以使用 Colaboratory 了。
3. 创建 Colaboratory 笔记本
关联 Colaboratory 之后,新建文件夹(Colab为例)。
然后进入 文件夹,空白处右键点击更多 -> Colaboratory,即可创建 Jupyter Notebook。
通过点击文件名实现重命名,例如重命名为 test.ipynb。
4. 使用 Colaboratory(重点)
首先是配置 Colaboratory,这一步非常重要也是非常强大的。点击修改 -> 笔记本设置。
在笔记本设置中,我们可以选择使用 Python 2 还是 Python 3。更重要的,可以选择使用 GPU 硬件加速。设置完毕后点击保存。
然后,我们就可以在 Jupyter Notebook 里任意写我们的代码和注释文档了。Colaboratory 本身就是一种数据分析工具,可将文字、代码和代码输出内容合并到一个协作文档中。
5. 挂载Google Drive
完成前面的配置,我们可以在Colab里编写代码了。但是我们如何在Colab里访问我们谷歌硬盘里的文件呢。
在Jupyter botebook里输入以下代码:(不要省略前面的感叹号)。
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
运行代码,运行中会提示输入验证码,点击程序给出的网址进行验证即可。
其实完成前面的操作我们就可以在Colab中敲写代码或者输入一些系统命令了,但是我们现在连接的虚拟机是和Google Drive脱离的,也就是说我们跑的程序无法使用谷歌云盘里的文件,这就非常受限制了。所以我们一般需要将谷歌云盘看作是虚拟机中的一个硬盘挂载,这样我们就可以使用虚拟机轻松访问谷歌云盘。
挂载Google Drive代码:
!mkdir -p drive
!google-drive-ocamlfuse -o nonempty drive
在Colab中cd
命令是无效的,切换工作目录使用chdir
函数。
import os
os.chdir("drive")
执行以上代码,当前工作目录会进入到drive文件夹下。我们再使用!ls
命令会发现系统输出的是drive文件夹下的目录。
后面我们就可以正常的访问我们的数据集了。