Mac本地部署大模型-单机运行

前些天在一台linux服务器(8核,32G内存,无显卡)使用ollama运行阿里通义千问Qwen1.5和Qwen2.0低参数版本大模型,Qwen2-1.5B可以运行,但是推理速度有些慢。

一直还没有尝试在macbook上运行测试大模型,不知道单机部署是否会有压力?

恰好家里有一台平时用的较少的macbook,因此,简单做了一些测试,分享给大家,供参考和讨论。

电脑配置

所使用的Macbook Pro稍微有些老,配置如下:

  • 机型,MacBook Pro(13 英寸,2019 年)
  • 芯片,四核Intel Core i5 2.4GHz;
  • 图形卡:Intel Iris Plus Graphics 655 1536 MB =》1.5G显存,是否能有用?
  • 内存,16G;
  • 系统,macOS Sonoma 14.5

(原来系统Catalina 10.15,发现没有brew命令,安装提示系统版本太低,apple已不再支持;同时系统提示,可以升级到最新mac OS,于是安装升级到最新的系统Sonoma,点击这里查询macOS Sonoma 与哪些电脑兼容)

Ollama下载安装

我们简单实用Ollama方式运行大模型。

首先从Ollama官网下载安装包。

Download Ollama on macOS

直接点击maxOS下载即可,下载的文件是Ollama.zip压缩文件,解压后是应用程序(ollama.apk),直接双击运行安装就可以。

安装完后,在启动台,就可以看到这个Ollama的图标。

大模型下载和运行

接下来就可以从ollama模型库中,选择需要的模型,做实验测试了。

例如:我们选择阿里通义千问qwen2-1.5B参数的模型:qwen2:1.5b-instruct-q5_K_M

qwen2:1.5b-instruct-q5_K_M

命令行直接运行: ollama run qwen2:1.5b-instruct-q5_K_M

如果下载失败,再次尝试即可。

(modelscope) MacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest 
Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/qwen2/manifests/1.5b-instruct-q5_K_M": dial tcp: lookup registry.ollama.ai: i/o timeout(modelscope) deMacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest 
pulling 9d9344b43f5a... 100% ▕████████████████████████████████████████████████████████▏ 1.1 GB                         
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████████████▏  182 B                         
pulling c156170b718e... 100% ▕████████████████████████████████████████████████████████▏  11 KB                         
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████████████▏   59 B                         
pulling 624b547e1c39... 100% ▕████████████████████████████████████████████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success ▏ 120 MB/1.1 GB  930 KB/s  

简单测试运行,发现执行速度比预期快(几秒内出结果),实验情况如下:

>>> 今天是周三,7月4号。7月11号是周几?
2023年7月11日是星期三。>>> 从下面相应的文本中提取关键词。
... ###
... 文本1:{PicTech提供图片翻译API,开发者可以集成图片翻译到他们的跨境电商系统中。}
... 关键词1:PicTech, 图片翻译API, 开发者, 跨境电商系统
... ##
... 文本2:{Meta公司训练了非常擅长理解和生成文本的前沿语言模型,并且开源给全世界使用,这种开源精神加速了人类科技的发展,
... 非常值得尊敬。}
... 关键词2:Meta公司, 前沿语言模型, 开源, 人类科技的发展, 尊敬
... ##
... 文本3:{Neil长期从事互联网行业,对人工智能也非常感兴趣,致力于科技改变生活。}
... 关键词3
... ###此题答案为:1、PicTech, 图片翻译API, 开发者, 跨境电商系统2、Meta公司, 前沿语言模型, 开源, 人类科技的发展, 尊敬3、Neil, 互联网行业, 人工智能, 科技改变生活>>> Send a message (/? for help)

结论: 从运行速度来看,运行相同模型(Qwen2-1.5B),在这台macbook(4核,16G内存)运行速度,比之前在linux单机(8核,32G内存)运行速度要快了不少! 虽然linux机器,从cpu和内存上配置高于我这台macbook,或许两个系统在底层加速优化方面,macbook做的较好?!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/41012.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

我这个经验好找嵌入式的工作吗?

大家好,我是麦鸽。最近网友的提问,这样的经验,好找嵌入式的工作吗? 下面是网友的情况: 本人目前大二机器人工程,未来想要入职嵌入式行业,有robomaster比赛经验本人负责电控,但是由于…

基因组学系列3:基因分型Phasing与单倍型参考序列HRC

1. 基因分型Phasing概念 基因分型,也称为基因定相、单倍体分型、单倍体构建等,即将一个二倍体(或多倍体)基因组上的等位基因(或杂合位点)正确定位到父亲或母亲的染色体上,最终使得来自同一亲本…

相亲交友APP系统婚恋交友社交软件开发语音视频聊天平台定制开发-婚恋相亲交友软件平台介绍——app小程序开发定制

互联网飞速发展的时代,相亲交友软件成为了许多年轻人首选的相亲方式,越来越多的单身男女希望在婚恋交友软件平台上寻找灵魂伴侣,相亲交友软件因此具有很高的市场价值。 多客婚恋相亲交友系统是一款定位高端,到手就能运营的成熟婚恋…

软件测评中心▏软件验收测试方法和测试内容简析

在当今数字化转型的浪潮下,软件验收测试变得越来越重要。软件验收测试,顾名思义,是对软件进行验收的过程中进行的一项测试。它用于确保软件在满足需求、达到预期效果后才能正式交付给客户使用。软件验收测试是一项全面、系统的测试过程&#…

sublime 3 背景和字体颜色修改

sublime 4 突然抽风,每次打开都显示 “plugin_host-3.3 has exited unexpectedly, some plugin functionality won’t be available until Sublime Text has been restarted” 一直没调好,所以我退回到sublime 3了。下载好了软件没问题,但是一…

半导体光电

《半导体光电》创刊于1976年,是由中国电子科技集团公司主管、重庆光电技术研究所(中国电子科技集团公司第四十四研究所)主办的中文科技期刊。本刊国内外公开发行,经过四十余年的发展已经成为我国光电子专业领域有代表性的刊物。 …

Zabbix 配置grafana对接

zabbix对接grafana简介 Zabbix与Grafana对接可以实现更加丰富和美观的数据可视化,可以让您利用Grafana强大的可视化功能来展示Zabbix收集的数据。 zabbix插件的两种安装方式 使用grafana-cli 命令进行安装在grafana管理页面中进入Administration/Plugins and dat…

2024.7.4学习日报

1、ppt前三章 5日计划 1、至少做到实验 2、java

css中文字书写方向

writing-mode 是 CSS 中的一个属性,用于设置文本、内联元素、表格单元格和表格列的书写方向、文本排列以及块流方向。以下是对 writing-mode 属性的详细介绍: 1. 语法和值 语法:writing-mode: horizontal-tb | vertical-rl | vertical-lr |…

在RT-Thread-Studio中添加arm_math库

1.在CMSIS\Lib\GCC中找到对应的库,如本文使用的libarm_cortexM4lf_math.a。将库拷贝到工程,并做如下图设置。搜索路径为库文件在项目中的实际位置。 2.将CMSIS\DSP\Include下的文件复制到工程目录中,并添加包含路径 3.添加宏定义&#xff0c…

Memcached缓存预热深度解析:加速应用性能的秘诀

Memcached缓存预热深度解析:加速应用性能的秘诀 在高性能计算环境中,Memcached作为一种广泛使用的分布式内存缓存系统,其缓存预热机制对于提升应用性能至关重要。缓存预热可以减少系统启动时的延迟,避免缓存未命中,从…

2806. 取整购买后的账户余额

2806. 取整购买后的账户余额 题目链接:2806. 取整购买后的账户余额 代码如下: class Solution { public:int accountBalanceAfterPurchase(int purchaseAmount) {return 100-(purchaseAmount5)/10*10;} };

QTreeWidget的简单使用

使用 QTreeWidget 实现复杂树控件功能的详细教程_treewidget 加控件-CSDN博客 #ifndef MAINWINDOW_H #define MAINWINDOW_H#include <QMainWindow> #include <QTreeWidget> namespace Ui { class MainWindow; }class MainWindow : public QMainWindow {Q_OBJECTpu…

阿里巴巴Arthas分析调优JVM实战及常量池详解

目录 一、阿里巴巴Arthas详解 Arthas使用场景 Arthas命令 Arthas使用 二、GC日志详解 如何分析GC日志 CMS G1 GC日志分析工具 三、JVM参数汇总查看命令 四、Class常量池与运行时常量池 字面量 符号引用 五、字符串常量池 字符串常量池的设计思想 三种字符串操作…

墨烯的语言技术栈-C语言基础-005

在VS的安装路径下有一个文件: newcfile.cpp的文件 在VS工程中创建新的.c或者.cpp文件的时候,都是拷贝newcfile.cpp这个文件的! everything工具中 有一个newcfile.cpp 然后打开文件路径在newcfile.cpp 添加#define _CRT_SECURE_NO_WARNINGS替换即可 五.变量的作用域(局部变量…

freemarker生成pdf,同时pdf插入页脚,以及数据量大时批量处理

最近公司有个需求&#xff0c;就是想根据一个模板生成一个pdf文档&#xff0c;当即我就想到了freemarker这个远古老东西&#xff0c;毕竟freemarker在模板渲染方面还是非常有优势的。 准备依赖&#xff1a; <dependency><groupId>org.springframework.boot</gr…

【IDEA】maven如何进行文件导入,配置并打包

一&#xff0c;介绍、安装 1、maven介绍 maven是一个Java世界中&#xff0c;构建工具。 核心功能&#xff1a; (1) 管理依赖&#xff1a; 管理文件运行的顺序逻辑依赖关系。对配置文件&#xff0c;进行构建和编译。其也是在调用jdk&#xff0c;来进行编译打包工作。 (2) 打…

JavaScript中的原型和原型链

一、原型&#xff1a;每个函数都有prototype属性&#xff0c;称之为原型&#xff0c;这个属性也是个对象所以也称之为原型对象。 1.原型可以放一些属性和方法&#xff0c;供实例对象使用。 <body><script>const arr new Array(1,3,5,7,6)document.getElementByI…

Go语言--延迟调用defer、获取命令行参数、局部变量以及全局变量

延迟调用defer 关键字 defer 用于延迟一个函数或者方法(或者当前所创建的匿名函数)的执行。注意&#xff0c;defer语句只能出现在函数或方法的内部。 defer 语句经常被用于处理成对的操作&#xff0c;如打开、关闭、连接、断开连接、加锁、释放锁。通过defer 机制&#xff0…