在Mac M1笔记本上跑大语言模型llama3的4个步骤?(install、pull、run、ask)

要点

  • Ollama一个功能强大的本地大语言模型LLM运行工具,支持很多模型,并且操作极其简单
  • 快速回忆步骤:
下载ollama工具:https://ollama.com/download
下载模型:ollama pull llama3 #根据libs列表直接指定名字
运行模型:ollama run llama3
测试:直接问他问题(可以关闭网络)

步骤

Step1. 下载ollama(根据平台选择)

https://ollama.com/download
在这里插入图片描述
下载后将软件安装,解压后拷贝到应用程序:
在这里插入图片描述
安装用户态命令:(点击install)
在这里插入图片描述

Step2:下载模型文件

支持的模型列表:https://ollama.com/library
比如llama3:
在这里插入图片描述
安装步骤:命令行直接安装

ollama pull llama3

实操:
在这里插入图片描述

这里需要耗费一些时间,具体根据网络和模型大小确定,模型大小参考:

ModelParametersSizeDownload
Llama 38B4.7GBollama run llama3
Llama 370B40GBollama run llama3:70b
Mistral7B4.1GBollama run mistral
Dolphin Phi2.7B1.6GBollama run dolphin-phi
Phi-22.7B1.7GBollama run phi
Neural Chat7B4.1GBollama run neural-chat
Starling7B4.1GBollama run starling-lm
Code Llama7B3.8GBollama run codellama
Llama 2 Uncensored7B3.8GBollama run llama2-uncensored
Llama 2 13B13B7.3GBollama run llama2:13b
Llama 2 70B70B39GBollama run llama2:70b
Orca Mini3B1.9GBollama run orca-mini
LLaVA7B4.5GBollama run llava
Gemma2B1.4GBollama run gemma:2b
Gemma7B4.8GBollama run gemma:7b
Solar10.7B6.1GBollama run solar

官方的参考资源:
8 GB 内存跑 7B models
16 GB to run the 13B models
32 GB to run the 33B models
比如M1有16G内存,可以跑7B的模型。

Step:运行模型

ollama run llama3

实操:(在M1的笔记本大概是s级别的,其他比如intel笔记本可能需要十几秒,M3等笔记本应该非常快)
并且测试的时候可以尝试关闭网络。
比如让他回答一个 gcc编译的问题:
gcc
再来一个:“python如何使用list,举一个实际的例子”
py

Step:退出聊天

Ctrl + d 或者 /bye退出聊天

其他

  • ollama的github:https://github.com/ollama/ollama
  • ollama在mac本地是以类似git的方式存储的,存储的模型都是以blobs的形式,和git底层原理类似。
    在这里插入图片描述- ollama在mac上模型存储的地址: ~/.ollama/models/blobs/
  • 在models/manifests中存储了配置信息,比如llama的blob是哪个等信息
  • 运行以后会自动启动RESTful的接口,也就是可以通过局域网访问,端口是11434,比如:
    在这里插入图片描述
  • 可以通过curl使用restful方式访问:比如:
curl http://localhost:11434/api/generate -d '{"model": "llama3","prompt":"Why is the sky blue?"
}'
  • 端侧的模型也具有记忆能力,还能反馈错误并且修改正
  • 查看当前使用的模型等信息 /show info
    在这里插入图片描述

最后

实操下来,因为ollma非常简单,只需要3个步骤就能使用模型,更多模型只需要一个pull就搞定。一台稍微不错的笔记本+网络,就能把各种大模型都用起来,快速上手吧。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/3465.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HttpURLConnection 接收长字符串时出现中文乱码出现问号��

HttpURLConnection 接收长字符串的时候随机位置出现中文乱码,显示问号,究其原因是utf8解码长度问题,程序上写法需要注意,要把字节全部读进来一起转码,不能边读取边转码,会截断中文的字节码,导致…

卡巴斯基plus(kaspersky plus) 21.16主界面出不来

请选择下载x86版本的dotnet 6.0 x86版本的dotnet 6.0 https://download.visualstudio.microsoft.com/download/pr/4aded178-a52a-4fcc-a779-59bb444df048/67924e3556a3a69da09528bd74dca9ef/dotnet-sdk-6.0.421-win-x86.exe

企业微信hook接口协议,ipad协议http,发送大视频文件

发送大视频文件 参数名必选类型说明uuid是String每个实例的唯一标识,根据uuid操作具体企业微信send_userid是long要发送的人或群idisRoom是bool是否是群消息 请求示例 {"uuid":"1688853790xxx", //uuid 默认随机生成如果初始化传了id则用初始…

软考-论文写作-论架构风格论文

题目 素材 框架 一、 摘要 2020年12月,我参加了某省政协委员履职系统的开发。该系统为政协机关人员线上开展各项工作以及委员完成各项履职提供了全方位的软件支撑。我在该项目重担任系统架构师一职,负责履职系统的架构设计。本文结合实践,以委员履职系统为例,主要讨论软件…

12.6.1 实验5:IOS恢复

1、实验目的 通过本实验可以掌握: copy方式恢复IOS的步骤。TFTPDNLD方式恢复IOS的步骤。Xmodem方式恢复IOS的步骤。 2、实验拓扑 路由器IOS恢复的实验拓扑如下图所示。 3、实验步骤 如果工作中不慎误删除路由器IOS,或者升级了错误版本的IOS&#xff…

密码学系列0-总述

通过这一系列文章,帮助读者能快速入门密码学安全性证明。 这一系列文章主要包括以下内容: 1.可证明安全的概念 2.密码学常用困难性问题:CDH,DDH,DLP,BDH等。然后讨论问非对称,对称双线性配对上困难性问题。讨论为什么对称双线性DD…

问答机器人学习资料

longchain 5 分钟内搭建一个免费问答机器人:Milvus LangChain-腾讯云开发者社区-腾讯云 chatglm大模型 基于本地知识的问答机器人langchain-ChatGLM 大语言模型实现方法详解_python_脚本之家 探索QRobot:智能对话与聊天机器人的开源奇缘-CSDN博客 如何…

推荐一个带java环境的tomcat镜像,使用jdk 1.8.0_312

镜像名称和版本:tomcat:10.0-jdk8拉取命令:docker pull tomcat:10.0-jdk8镜像tar包(百度网盘): 链接:https://pan.baidu.com/s/1TM8k7Z97NYhahCrrTh3vBw?pwdrq93 提取码:rq93docker启动命令&am…

请编写一个函数void fun(char*ss),其功能是:将字符串ss中所有下标为奇数位置上的字母转换为大写(若该位置上不是字母,则不转换)。

本文收录于专栏:算法之翼 https://blog.csdn.net/weixin_52908342/category_10943144.html 订阅后本专栏全部文章可见。 本文含有题目的题干、解题思路、解题思路、解题代码、代码解析。本文分别包含C语言、C++、Java、Python四种语言的解法完整代码和详细的解析。 题干 请编…

制作一个RISC-V的操作系统十三-抢占式多任务和兼容协作式多任务

文章目录 强占式多任务流程代码具体流程兼容协作式多任务(软中断)寄存器 msip流程代码结果 强占式多任务 流程 抢占式多任务由计时器中断触发,最后在处理程序中切换到下一个进程 代码具体流程 上下文中增加pc寄存器 寄存器保留上下文和切…

A39 STM32_HAL库函数 之 Rcc通用驱动 所有函数的介绍及使用

A39 STM32_HAL库函数 之 Rcc通用驱动 所有函数的介绍及使用 1 该驱动函数预览1.1 HAL_RCC_DeInit1.2 HAL_RCC_OscConfig1.3 HAL_RCC_ClockConfig1.4 HAL_RCC_MCOConfig1.5 HAL_RCC_EnableCSS1.6 HAL_RCC_DisableCSS1.7 HAL_RCC_GetSysClockFreq1.8 HAL_RCC_GetHCLKFreq1.9 HAL_…

C++笔记打卡第23天(STL常用算法)

1.常用排序算法 sort&#xff1a;对容器内元素进行排序 class Myprint { public:void operator()(int val){cout << val << " ";} };// 查自定义数据类型 void test01() {vector<int> v;v.push_back(10);v.push_back(20);v.push_back(15);v.push_b…

Qt :Ordered Map

在项目中&#xff0c;有时候对数据结构有这样的需求&#xff0c;既需要具备Map的高效读写&#xff0c;又要兼具插入数据成员的有序性&#xff0c;这时候你就需要使用Ordered Map了。 关于Ordered Map,相关资源比较多&#xff0c;实现思路比较简单&#xff0c;基本上都是通过lis…

使用零拷贝技术加速视频图像操作

不使用cv::cuda::HostMem的情况 当直接创建cv::cuda::GpuMat并从CPU内存拷贝数据到GPU时&#xff0c;如果没有共享内存机制&#xff0c;数据传输是通过常规的内存拷贝完成的&#xff0c;例如&#xff1a; uchar* nv12Data; // CPU内存中的NV12数据 cv::Mat hostImage(height …

C# 获取一个字符串中数字部分?

要在 C# 中将一个字符串中只保留数字字符&#xff0c;以下是两种实现方法&#xff1a; 方法一&#xff1a;使用正则表达式 正则表达式是一种强大的文本模式匹配工具&#xff0c;可以轻松地提取字符串中符合特定规则的部分。 在这种情况下&#xff0c;我们可以使用一个匹配数…

数据挖掘实验一

一、实验环境及背景 使用软件&#xff1a; Anaconda3 Jupyter Notebook 实验内容&#xff1a; 1.使用Tushare或者其他手段获取任意两支股票近三个月的交易数据。做出收盘价的变动图像。2.使用Pandas_datareader获取世界银行数据库中美国&#xff08;USA&#xff09;、瑞典&…

【中级软件设计师】上午题12-软件工程(2):单元测试、黑盒测试、白盒测试、软件运行与维护

【中级软件设计师】上午题12-软件工程&#xff08;2&#xff09; 1 系统测试1.1 单元测试1.2 集成测试1.2.1 自顶向下1.2.2 自顶向上1.2.3 回归测试 2 测试方法2.1 黑盒测试2.1.1 McCabe度量法 2.2 白盒测试2.2.1 语句覆盖-“每个流程”执行一次2.2.2 判定覆盖2.2.3 条件覆盖-A…

资源、死锁、如何监测死锁

资源&#xff1a;变量、对象、网络资源、文件、内存、cpu等等 &#xff08;应用层或者会话层 资源&#xff09; 统一资源限定符&#xff1a;[scheme:][//authority][path][?query][#fragment] authority 可以表示&#xff1a; [user-info]host[:port] 比如&#xff1a; fi…

vue+springboot项目的登录验证码(JAVA自带)

后台springboot CaptureController package com.example.controller;import com.example.common.Result; import com.example.service.AuthCodeService; import com.example.utils.CodeUtils; import lombok.SneakyThrows; import org.apache.ibatis.annotations.Param; impo…

Java openrasp记录-01

例子1 https://github.com/anbai-inc/javaweb-expression 一个hook ognl、spel、MVEL表达式注入的例子 用的是asm5进行字节码修改 采用premain进行插桩&#xff0c;重写transform方法 expClassList是要hook的类&#xff0c;这里定义在MethodHookDesc 这里判断hook点通过类名…