前些天在一台linux服务器(8核,32G内存,无显卡)使用ollama运行阿里通义千问Qwen1.5和Qwen2.0低参数版本大模型,Qwen2-1.5B可以运行,但是推理速度有些慢。
一直还没有尝试在macbook上运行测试大模型,不知道单机部署是否会有压力?
恰好家里有一台平时用的较少的macbook,因此,简单做了一些测试,分享给大家,供参考和讨论。
电脑配置
所使用的Macbook Pro稍微有些老,配置如下:
- 机型,MacBook Pro(13 英寸,2019 年);
- 芯片,四核Intel Core i5 2.4GHz;
- 图形卡:Intel Iris Plus Graphics 655 1536 MB =》1.5G显存,是否能有用?
- 内存,16G;
- 系统,macOS Sonoma 14.5
(原来系统Catalina 10.15,发现没有brew命令,安装提示系统版本太低,apple已不再支持;同时系统提示,可以升级到最新mac OS,于是安装升级到最新的系统Sonoma,点击这里查询macOS Sonoma 与哪些电脑兼容)
Ollama下载安装
我们简单实用Ollama方式运行大模型。
首先从Ollama官网下载安装包。
Download Ollama on macOS
直接点击maxOS下载即可,下载的文件是Ollama.zip压缩文件,解压后是应用程序(ollama.apk),直接双击运行安装就可以。
安装完后,在启动台,就可以看到这个Ollama的图标。
大模型下载和运行
接下来就可以从ollama模型库中,选择需要的模型,做实验测试了。
例如:我们选择阿里通义千问qwen2-1.5B参数的模型:qwen2:1.5b-instruct-q5_K_M
qwen2:1.5b-instruct-q5_K_M
命令行直接运行: ollama run qwen2:1.5b-instruct-q5_K_M
如果下载失败,再次尝试即可。
(modelscope) MacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest
Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/qwen2/manifests/1.5b-instruct-q5_K_M": dial tcp: lookup registry.ollama.ai: i/o timeout(modelscope) deMacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest
pulling 9d9344b43f5a... 100% ▕████████████████████████████████████████████████████████▏ 1.1 GB
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████████████▏ 182 B
pulling c156170b718e... 100% ▕████████████████████████████████████████████████████████▏ 11 KB
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████████████▏ 59 B
pulling 624b547e1c39... 100% ▕████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
removing any unused layers
success ▏ 120 MB/1.1 GB 930 KB/s
简单测试运行,发现执行速度比预期快(几秒内出结果),实验情况如下:
>>> 今天是周三,7月4号。7月11号是周几?
2023年7月11日是星期三。>>> 从下面相应的文本中提取关键词。
... ###
... 文本1:{PicTech提供图片翻译API,开发者可以集成图片翻译到他们的跨境电商系统中。}
... 关键词1:PicTech, 图片翻译API, 开发者, 跨境电商系统
... ##
... 文本2:{Meta公司训练了非常擅长理解和生成文本的前沿语言模型,并且开源给全世界使用,这种开源精神加速了人类科技的发展,
... 非常值得尊敬。}
... 关键词2:Meta公司, 前沿语言模型, 开源, 人类科技的发展, 尊敬
... ##
... 文本3:{Neil长期从事互联网行业,对人工智能也非常感兴趣,致力于科技改变生活。}
... 关键词3
... ###此题答案为:1、PicTech, 图片翻译API, 开发者, 跨境电商系统2、Meta公司, 前沿语言模型, 开源, 人类科技的发展, 尊敬3、Neil, 互联网行业, 人工智能, 科技改变生活>>> Send a message (/? for help)
结论: 从运行速度来看,运行相同模型(Qwen2-1.5B),在这台macbook(4核,16G内存)运行速度,比之前在linux单机(8核,32G内存)运行速度要快了不少! 虽然linux机器,从cpu和内存上配置高于我这台macbook,或许两个系统在底层加速优化方面,macbook做的较好?!