Macbook pro M3 Max 128G使用体验

好久没写文章了,今天来谈谈M3 Max的使用感受。

Stable Diffusion:

使用ComfyUI来完成绘图任务,使用ByteDance/SDXL-Lightning模型微调版本

参数设置:

运行日志:

[2024-03-24 17:11]

100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 27/27 [00:40<00:00, 1.72s/it]

100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 27/27 [00:40<00:00, 1.50s/it]

[2024-03-24 17:11] Prompt executed in 41.75 seconds

40秒推理生成完成,还不错。

附安装过程:

# https://developer.apple.com/metal/pytorch/
pip3 install --pre torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cpu
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
python -m pip install -r requirements.txt
python -m pip uninstall mpmath
python -m pip install mpmath==1.3.0
LLM大语言模型

1. Mixtral 8x7b 混合专家模型

mistralai/Mixtral-8x7B-Instruct-v0.1

有一定的内存压力,不过每秒依然可以保证10个token的输出。

a_cpu = torch.rand(1000, device='cpu')
b_cpu = torch.rand((1000, 1000), device='cpu')
a_mps = torch.rand(1000, device='mps')
b_mps = torch.rand((1000, 1000), device='mps')print('cpu', timeit.timeit(lambda: a_cpu @ b_cpu, number=100_000))
print('mps', timeit.timeit(lambda: a_mps @ b_mps, number=100_000))

cpu 1.9363472090335563

mps 1.4238181249820627

感觉mps并没有提升多少的感觉,这是为什么呢?

def test_cpu():a_cpu = torch.rand(1000, device='cpu')b_cpu = torch.rand((1000, 1000), device='cpu')a_cpu @ b_cpu
def test_mps():a_mps = torch.rand(1000, device='mps')b_mps = torch.rand((1000, 1000), device='mps')a_mps @ b_mpsprint('cpu', timeit.timeit(lambda: test_cpu(), number=1000))
print('mps', timeit.timeit(lambda: test_mps(), number=1000))

cpu 2.2735738750197925

mps 0.4514276669942774

mps有更好的caching表现,所以比较节省时间

我后面将会对Finetuning,RAG检索增强,大语言模型处理Instructions性能这块进行分析。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/767396.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

密码学之哈希碰撞和生日悖论

哈希碰撞 哈希碰撞是指找到两个不一样的值&#xff0c;它们的哈希值却相同 假设哈希函数的取值空间大小为k &#xff0c;计算次数为n 先算每个值不一样的概率P’ 所以至少两个值相同(即存在哈希碰撞)的概率P为 生日悖论 假设班里有50个人&#xff0c;求班里至少两个人相同…

安装IK分词器 + 扩展词典配置 + 停用词典配置

安装IK分词器 1.在线安装ik插件&#xff08;较慢&#xff09; # 进入容器内部 docker exec -it elasticsearch /bin/bash ​ # 在线下载并安装 ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elastics…

系统学习Python——装饰器:“私有“和“公有“属性案例-[为Python3.X重定义运算符重载方法的途径:路由器、描述符、自动化]

分类目录&#xff1a;《系统学习Python》总目录 自然地&#xff0c;之前的文章中的两个混合器父类变体都可以通过代码的一些额外变化来改进。除了两个值得简要关注的变体外&#xff0c;这里我们将略过大部分。首先&#xff0c;下面比较第一个混合方案的变种一一其使用了更加简单…

ELFBoard编译内核及添加LED驱动

整体编译 config文件 cp arch/arm/configs/imx_v7_mfg_defconfig arch/arm/configs/imx6ull_elf1_defconfig设备树文件 cp arch/arm/boot/dts/imx6ull-14x14-evk.dts arch/arm/boot/dts/imx6ull-elf1-emmc.dts编译脚本 #!/bin/bash export CPUSgrep -c processor /proc/cpu…

Unity类银河恶魔城学习记录11-4,5 p107 Stash for materials源代码

Alex教程每一P的教程原代码加上我自己的理解初步理解写的注释&#xff0c;可供学习Alex教程的人参考 此代码仅为较上一P有所改变的代码 【Unity教程】从0编程制作类银河恶魔城游戏_哔哩哔哩_bilibili ItemData_Equipment.cs using System.Collections; using System.Collecti…

vue3计算属性

vue3的计算属性&#xff0c;在<script setup></script>标签中 需要借助compute函数来实现 如下 <template><div><ul><li v-for"book in books" :key"book.id">{{ book.name }}</li></ul><span>书本…

PyQT5学习--新建窗体模板

目录 1 Dialog 2 Main Window 3 Widget Dialog 模板&#xff0c;基于 QDialog 类的窗体&#xff0c;具有一般对话框的特性&#xff0c;如可以模态显示、具有返回值等。 Main Window 模板&#xff0c;基于 QMainWindow 类的窗体&#xff0c;具有主窗口的特性&#xff0c;窗口…

(DFS + 剪枝)【洛谷P1731】 [NOI1999] 生日蛋糕

题目链接 点此快速前往 题目总分析 就和我说的一样&#xff0c;这道题就是DFS加剪枝&#xff0c;非常好的一道题 我起初看到这个题我根本不知道怎么dfs才是正确的&#xff0c; 感觉变量有这么多不确定的&#xff0c;每一层的半径&#xff0c;每一层的高度&#xff0c;而且这…

tauri应用实现一键快速更新版本

tauri应用实现一键快速更新版本 创建一个项目 pnpm create tauri-app根据配置选择就可以 pnpm tauri dev启动项目 ##更新配置 打包配置在src-tauri/tauri.conf.json 修改打包命令 "bundle": {"active": true,"targets": "all",&qu…

概率论基础概念

随机试验 随机试验&#xff08;Random Experiment&#xff09;是在相同条件下对某随机现象进行的大量重复观测。这种试验具有以下特点&#xff1a; 在试验前不能断定其将发生什么结果&#xff0c;但可明确指出或说明试验的全部可能结果是什么。 在相同的条件下试验可大量地重…

XR虚拟拍摄:短剧制作的新宠

XR虚拟拍摄&#xff1a;短剧制作的新宠 随着数字技术的快速发展&#xff0c;短剧拍摄领域正在经历一场革命性的变革。XR&#xff08;扩展现实&#xff09;技术的兴起&#xff0c;为短剧制作带来了前所未有的机遇与挑战。近年来&#xff0c;越来越多的短剧制作团队开始采用XR虚拟…

谷粒商城——Redisson看门狗

可重入锁&#xff1a; 看门狗机制&#xff1a;(lock.lock()不设置过期时间就会自动触发 看门狗机制) 如果一个线程已经上锁后&#xff0c;在运行的过程中中断导致未释放锁从而导致其他线程无法进行&#xff0c;为此需要为每个锁设置自动过期时间。但是如果线程运行时间较长&am…

Learn OpenGL 25 法线贴图

为什么要引入法线贴图 我们的场景中已经充满了多边形物体&#xff0c;其中每个都可能由成百上千平坦的三角形组成。我们以向三角形上附加纹理的方式来增加额外细节&#xff0c;提升真实感&#xff0c;隐藏多边形几何体是由无数三角形组成的事实。纹理确有助益&#xff0c;然而…

Linux进程地址空间详解

文章目录 前言一、程序地址空间二、感受虚拟地址的存在三、进程地址空间四、程序从磁盘加载到内存的过程4.1 物理地址和虚拟地址的区别 五、写时拷贝5.1 解释fork()函数有两个返回值 前言 我们在学习C/C的时候用到的地址是什么地址呢&#xff1f;虚拟地址&#xff1f;物理地址&…

【无人机综合考试题】

1.请选择出哪一个功能选项&#xff0c;在手动遥控飞行时&#xff0c;可以改变各通道的操作灵敏度? 行程比例在手动遥控飞行时&#xff0c;可以改变各通道的操作灵敏度 用于起降的遥控器中 THR、ELE 通道分别控制多旋翼无人机的什么运动? AIL(左、右移动)RUD(左、右水平旋转…

Java基础【上】韩顺平(反射、类加载、final接口、抽象类、内部类)

涵盖知识点&#xff1a;反射、类加载、单例模式、final、抽象类、接口、内部类&#xff08;局部内部类、匿名内部类、成员内部类、静态内部类&#xff09; P711 反射机制原理 创建如下目录结构&#xff0c;在模块下创建src文件夹&#xff0c;文件夹要设置为Sources文件夹&…

红桃写作方便吗 #学习方法#微信#微信

红桃写作是一个非常好用的论文写作工具&#xff0c;它不仅方便快捷&#xff0c;而且非常靠谱&#xff0c;能够帮助用户轻松完成论文写作任务。不论是学生还是专业人士&#xff0c;都可以通过红桃写作轻松地完成论文的写作工作&#xff0c;大大提高工作效率。 首先&#xff0c;红…

多人协作的思考

有时候可能会有多人协作的需求&#xff0c;多人协作有很多实现方式 可以多人改&#xff0c;但是同时只有一人能改。这种不算纯粹的多人协作&#xff0c;偏权限控制。 飞书文档类的多人协作&#xff0c;大家都在同一个数据载体上修改。 git式的多人协作&#xff0c;没人都有一…

flutter->Scaffold左侧/右侧侧边栏和UserAccountsDrawerHeader的使用

//appBar的 leading/actions 和 Scaffold的drawer/endDrawer 冲突只能存在一个 import package:flutter/material.dart;void main() {runApp(MyApp()); }class MyApp extends StatelessWidget {const MyApp({super.key});overrideWidget build(BuildContext context) {retur…

【docker常用命令】

1. 什么是docker Docker 是一种开源的容器化平台&#xff0c;用于开发、交付和运行应用程序。它允许开发人员将应用程序及其依赖项&#xff08;如库、环境变量、配置文件等&#xff09;打包到一个被称为容器的标准化单元中。这个容器包含了一切应用程序需要运行的所有内容&…