ubuntu上安装cuda见之前的blog,已安装cuda12,使用nvcc-V
下载llama2-chinese:GitHub - FlagAlpha/Llama2-Chinese: Llama中文社区,最好的中文Llama大模型,完全开源可商用
conda create -n llamachinese python=3.10
pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
然后运行下面的代码
python examples/chat_gradio.py --model_name_or_path E:\llm\Llama2-Chinese\llama_env\Atom-7B-Chat