上一篇博客讲了我跑Llama的demo的心路历程(上一篇博客传送门),这篇我们主要是讲下怎么配置。
快速开始
使用Linux、Linux、Linux,重要的事情说三遍,如果你和我一样懒得安装双系统,那么在Windows下安装一个WSL2。我假设大家都有了WSL2,并且开了ubuntu系统,我们需要做如下操作:
1. 安装Anaconda:如何在Linux服务器上安装Anaconda(超详细) 感谢这位博主
2. 配置git的代理:WSL2 cannot access Windows proxy、WSL2网络代理配置(apt与git)
3. 获取代码,获取的方式很多反正能拿到代码就行:git clone https://github.com/facebookresearch/llama.git
4. 使用代码仓库的 download.sh 下载模型,下载之前先去这个网站填表Meta模型下载申请。开源了个寂寞,扭扭捏捏的。
- 下载模型请选择:llama-2-7b-chat
- 太贪了什么都得不到。。。
5. 安装Llama所需的各种库
pip install -e .
6. 运行demo
torchrun --nproc_per_node 1 example_chat_completion.py \--ckpt_dir llama-2-7b-chat/ \--tokenizer_path tokenizer.model \--max_seq_len 512 --max_batch_size 6
7. 官方demo没有持续对话,需要自己做修改,按照他们的格式改,我改过的输出如下:
8. 我倒是想用gradio做一个页面,但是我没有界面。。。。后续有时间再看
结尾
这就是我在Windows上运行Llama的经历了,血泪教训:用Linux!!!
如果觉得文章对你有用请点赞、关注 ->> 你的点赞对我太有用了
群内交流更多技术
130856474 <-- 在这里