Mac本地部署大模型-单机运行

前些天在一台linux服务器(8核,32G内存,无显卡)使用ollama运行阿里通义千问Qwen1.5和Qwen2.0低参数版本大模型,Qwen2-1.5B可以运行,但是推理速度有些慢。

一直还没有尝试在macbook上运行测试大模型,不知道单机部署是否会有压力?

恰好家里有一台平时用的较少的macbook,因此,简单做了一些测试,分享给大家,供参考和讨论。

电脑配置

所使用的Macbook Pro稍微有些老,配置如下:

  • 机型,MacBook Pro(13 英寸,2019 年)
  • 芯片,四核Intel Core i5 2.4GHz;
  • 图形卡:Intel Iris Plus Graphics 655 1536 MB =》1.5G显存,是否能有用?
  • 内存,16G;
  • 系统,macOS Sonoma 14.5

(原来系统Catalina 10.15,发现没有brew命令,安装提示系统版本太低,apple已不再支持;同时系统提示,可以升级到最新mac OS,于是安装升级到最新的系统Sonoma,点击这里查询macOS Sonoma 与哪些电脑兼容)

Ollama下载安装

我们简单实用Ollama方式运行大模型。

首先从Ollama官网下载安装包。

Download Ollama on macOS

直接点击maxOS下载即可,下载的文件是Ollama.zip压缩文件,解压后是应用程序(ollama.apk),直接双击运行安装就可以。

安装完后,在启动台,就可以看到这个Ollama的图标。

大模型下载和运行

接下来就可以从ollama模型库中,选择需要的模型,做实验测试了。

例如:我们选择阿里通义千问qwen2-1.5B参数的模型:qwen2:1.5b-instruct-q5_K_M

qwen2:1.5b-instruct-q5_K_M

命令行直接运行: ollama run qwen2:1.5b-instruct-q5_K_M

如果下载失败,再次尝试即可。

(modelscope) MacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest 
Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/qwen2/manifests/1.5b-instruct-q5_K_M": dial tcp: lookup registry.ollama.ai: i/o timeout(modelscope) deMacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest 
pulling 9d9344b43f5a... 100% ▕████████████████████████████████████████████████████████▏ 1.1 GB                         
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████████████▏  182 B                         
pulling c156170b718e... 100% ▕████████████████████████████████████████████████████████▏  11 KB                         
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████████████▏   59 B                         
pulling 624b547e1c39... 100% ▕████████████████████████████████████████████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success ▏ 120 MB/1.1 GB  930 KB/s  

简单测试运行,发现执行速度比预期快(几秒内出结果),实验情况如下:

>>> 今天是周三,7月4号。7月11号是周几?
2023年7月11日是星期三。>>> 从下面相应的文本中提取关键词。
... ###
... 文本1:{PicTech提供图片翻译API,开发者可以集成图片翻译到他们的跨境电商系统中。}
... 关键词1:PicTech, 图片翻译API, 开发者, 跨境电商系统
... ##
... 文本2:{Meta公司训练了非常擅长理解和生成文本的前沿语言模型,并且开源给全世界使用,这种开源精神加速了人类科技的发展,
... 非常值得尊敬。}
... 关键词2:Meta公司, 前沿语言模型, 开源, 人类科技的发展, 尊敬
... ##
... 文本3:{Neil长期从事互联网行业,对人工智能也非常感兴趣,致力于科技改变生活。}
... 关键词3
... ###此题答案为:1、PicTech, 图片翻译API, 开发者, 跨境电商系统2、Meta公司, 前沿语言模型, 开源, 人类科技的发展, 尊敬3、Neil, 互联网行业, 人工智能, 科技改变生活>>> Send a message (/? for help)

结论: 从运行速度来看,运行相同模型(Qwen2-1.5B),在这台macbook(4核,16G内存)运行速度,比之前在linux单机(8核,32G内存)运行速度要快了不少! 虽然linux机器,从cpu和内存上配置高于我这台macbook,或许两个系统在底层加速优化方面,macbook做的较好?!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/41012.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

我这个经验好找嵌入式的工作吗?

大家好,我是麦鸽。最近网友的提问,这样的经验,好找嵌入式的工作吗? 下面是网友的情况: 本人目前大二机器人工程,未来想要入职嵌入式行业,有robomaster比赛经验本人负责电控,但是由于…

基因组学系列3:基因分型Phasing与单倍型参考序列HRC

1. 基因分型Phasing概念 基因分型,也称为基因定相、单倍体分型、单倍体构建等,即将一个二倍体(或多倍体)基因组上的等位基因(或杂合位点)正确定位到父亲或母亲的染色体上,最终使得来自同一亲本…

相亲交友APP系统婚恋交友社交软件开发语音视频聊天平台定制开发-婚恋相亲交友软件平台介绍——app小程序开发定制

互联网飞速发展的时代,相亲交友软件成为了许多年轻人首选的相亲方式,越来越多的单身男女希望在婚恋交友软件平台上寻找灵魂伴侣,相亲交友软件因此具有很高的市场价值。 多客婚恋相亲交友系统是一款定位高端,到手就能运营的成熟婚恋…

软件测评中心▏软件验收测试方法和测试内容简析

在当今数字化转型的浪潮下,软件验收测试变得越来越重要。软件验收测试,顾名思义,是对软件进行验收的过程中进行的一项测试。它用于确保软件在满足需求、达到预期效果后才能正式交付给客户使用。软件验收测试是一项全面、系统的测试过程&#…

sublime 3 背景和字体颜色修改

sublime 4 突然抽风,每次打开都显示 “plugin_host-3.3 has exited unexpectedly, some plugin functionality won’t be available until Sublime Text has been restarted” 一直没调好,所以我退回到sublime 3了。下载好了软件没问题,但是一…

Zabbix 配置grafana对接

zabbix对接grafana简介 Zabbix与Grafana对接可以实现更加丰富和美观的数据可视化,可以让您利用Grafana强大的可视化功能来展示Zabbix收集的数据。 zabbix插件的两种安装方式 使用grafana-cli 命令进行安装在grafana管理页面中进入Administration/Plugins and dat…

在RT-Thread-Studio中添加arm_math库

1.在CMSIS\Lib\GCC中找到对应的库,如本文使用的libarm_cortexM4lf_math.a。将库拷贝到工程,并做如下图设置。搜索路径为库文件在项目中的实际位置。 2.将CMSIS\DSP\Include下的文件复制到工程目录中,并添加包含路径 3.添加宏定义&#xff0c…

QTreeWidget的简单使用

使用 QTreeWidget 实现复杂树控件功能的详细教程_treewidget 加控件-CSDN博客 #ifndef MAINWINDOW_H #define MAINWINDOW_H#include <QMainWindow> #include <QTreeWidget> namespace Ui { class MainWindow; }class MainWindow : public QMainWindow {Q_OBJECTpu…

阿里巴巴Arthas分析调优JVM实战及常量池详解

目录 一、阿里巴巴Arthas详解 Arthas使用场景 Arthas命令 Arthas使用 二、GC日志详解 如何分析GC日志 CMS G1 GC日志分析工具 三、JVM参数汇总查看命令 四、Class常量池与运行时常量池 字面量 符号引用 五、字符串常量池 字符串常量池的设计思想 三种字符串操作…

freemarker生成pdf,同时pdf插入页脚,以及数据量大时批量处理

最近公司有个需求&#xff0c;就是想根据一个模板生成一个pdf文档&#xff0c;当即我就想到了freemarker这个远古老东西&#xff0c;毕竟freemarker在模板渲染方面还是非常有优势的。 准备依赖&#xff1a; <dependency><groupId>org.springframework.boot</gr…

【IDEA】maven如何进行文件导入,配置并打包

一&#xff0c;介绍、安装 1、maven介绍 maven是一个Java世界中&#xff0c;构建工具。 核心功能&#xff1a; (1) 管理依赖&#xff1a; 管理文件运行的顺序逻辑依赖关系。对配置文件&#xff0c;进行构建和编译。其也是在调用jdk&#xff0c;来进行编译打包工作。 (2) 打…

JavaScript中的原型和原型链

一、原型&#xff1a;每个函数都有prototype属性&#xff0c;称之为原型&#xff0c;这个属性也是个对象所以也称之为原型对象。 1.原型可以放一些属性和方法&#xff0c;供实例对象使用。 <body><script>const arr new Array(1,3,5,7,6)document.getElementByI…

Go语言--延迟调用defer、获取命令行参数、局部变量以及全局变量

延迟调用defer 关键字 defer 用于延迟一个函数或者方法(或者当前所创建的匿名函数)的执行。注意&#xff0c;defer语句只能出现在函数或方法的内部。 defer 语句经常被用于处理成对的操作&#xff0c;如打开、关闭、连接、断开连接、加锁、释放锁。通过defer 机制&#xff0…

NASA——quarius(水瓶座) L3 网格化 1 度年土壤湿度,第 5 版

Aquarius L3 Gridded 1-Degree Annual Soil Moisture V005 水瓶座 L3 网格化 1 度年土壤湿度&#xff0c;第 5 版 简介 该数据集包含美国国家航空航天局&#xff08;NASA&#xff09;科学应用卫星&#xff08;SAC-D&#xff09;上的宝瓶座被动微波辐射计得出的第 3 级网格化…

SLAM 精度评估

SLAM 精度的评估有两个最重要的指标&#xff0c;即绝对轨迹误差&#xff08;ATE&#xff09;和相对位姿误差&#xff08;RPE&#xff09;的 均方根误差&#xff08;RMSE&#xff09;: 绝对轨迹误差:直接计算相机位姿的真实值与 SLAM 系统的估计值之间的差值&#xff0c;首先将…

交换机基本原理

文章目录 前言一、交换机的转发行为二、交换机的转发原理1.MAC地址表2.交换机初始状态3.学习MAC地址4.ARP协议5.交换机转发数据帧6.目标主机回复 三、华为交换机基本命令1.VRP视图分层2.命令行补全3.命令行帮助4.配置设备名称5.命令等级6.用户界面7.配置console认证8.配置用户界…

python-Django项目:图书后台管理系统

具体操作&#xff1a;请参考 Django项目&#xff1a;图书后台管理系统

运维锅总详解计算机缓存

本文从OSI模型中的每一层缓存介绍、常见开源中间件缓存举例、TCP/IP协议栈中的缓存机制、操作系统中的缓存、访问缓存数据的时间范围统计等方面对计算机中的缓存进行详细介绍。希望对您有所帮助&#xff01; 一、OSI模型中的每一层缓存 1. 物理层&#xff08;Physical Layer&…