结合网上多个大佬的方法终于解决了.

1. 首先修改自己虚拟环境目录下的site文件: vim /home/XXX/.conda/envs/XXX/lib/pythonXXX/site.py
   把 USER_BASE 和 USER_SITE 改成虚拟环境目录.

USER_BASE: ‘/home/XXX/.conda/envs/XXX’ (exists)
USER_SITE: ‘/home/XXX/.conda/envs/XXX/lib/pythonXXX/site-packages’ (exists)

用 python -m site 检查是否修改成功.
2. 接着在虚拟环境里更新pip, python -m pip install --upgrade pip
3. 用 which pip 和 type pip 看看两个地址是否一致.
4. 不一致说明映射不对, pip 发现目录不存在. 用 hash -r 重新映射, 再which pip 和 type pip 发现一致, 解决.