1,笔记本电脑资源
我是一台联想笔记本电脑,基本配置如下:
CPU:12th Gen Intel(R) Core(TM) i7-1255U 1.70 GHz (12核心,2个P核和8个E核,共计10个核心)
显卡:NVIDIA GeForce MX550
内存:40.0 GB
操作系统:Windows 10 专业版
想初步评估下用LM studio下载一个本地大模型运行试试看。
2.下载LM studio及大模型参数
直接到LM的网站下载
LM Studio - Discover, download, and run local LLMs
之后直接安装,安装完成后,可以查看配置:
下载大模型参数:
如上,结果没有出现大模型的列表,提示:
There was an error fetching results from Hugging Face, please try again in a little bit
这个应该是无法访问 Hugging Face,直接浏览器访问:huggingface.co
果然无法访问,那应该是网络屏蔽了, 科学上网试试,果然就可以了。
之后LM studio就可以看到大模型列表了,下载一个8B的deepseek的模型:
deepseek-r1-distill-llama-8b-abliterated
速度很快就下载完成。
3. 加载大模型
下载完成后,直接默认加载,加载部分后,提示错误:
Failed to load model
unable to allocate backend buffer
问大模型,告知可能原因:
- 内存不足
- 显存不足
- 模型损坏
- 驱动或库不匹配
- 软件问题等
为了确保模型文件OK,再下载了一个模型:
deepseek-r1-distill-qwen-7b
完成后,选择一个加载。
默认配置如下加载
加载到35%左右,会提示失败:
这个一般是内存不足了(也有可能是模型数据有问题,但我是直接下载后执行的,不是拷贝过来的,而且下载了两个模型都提示这个,所以应该就不是这个问题)。
修改下参数,如下:
之后就加载成功了,完成之后,可以提交问题。
4. 选择大模型运行
对话框提交一个问题:
在此期间,内存基本保持4.5GB,在thinking问题时,CPU保持在33%左右。
回答问题的时间:
回答时间长,而且回答非常简短,参考意义不大,同样的问题提交给文心一言,3S内给出答案,比较全面,如下:
5.总结
我的笔记本资源还算可以,内存40G,独立显卡,12核CPU,这样的配置部署一个本地7B的本地大模型,计算速度太慢了,资源占用也比较大,一个简单问题,明显CPU的风扇声音就起来了,由此看出哪怕是小参数的大模型,对硬件要求也是很高的,显存不大的电脑,还真运行不了。