在使用linux的过程中,我们往往会使用软件安装很多packages,其中的大多数软件(例如conda)会把当前安装的packages缓存起来,以加速之后的相同package的安装。
而很多软件的默认缓存路径是user自己的home路径。下面罗列几个常见的软件的缓存路径更改方法。
1. conda
vim ~/.condarc
在condarc中增加下面这行
pkgs_dirs:- /scratch/XXX
将上述路径改成你自己的。
2. keras
在shell里添加环境变量:
export KERAS_HOME=/scratch/XXX
也可以更改bashrc:vim ~/.bashrc
全局生效
3. huggingface
相似,更改环境变量:
export TRANSFORMERS_CACHE=/scratch/xxx
4. NLTK
也一样:
export NLTK_DATA=/scratch/xxx/nltk_data
之后在python脚本里:
import nltk
nltk.download('punkt')
相应的package就会安装在/scratch/xxx/nltk_data
其他
都一样,大部分软件只需要设置相应的环境变量就行。除了shell,也可以在python脚本里用os
设置:os.environ['NLTK_DATA'] = '/scratch/xxx/nltk_data'