实测:三款垃圾CPU推理Llama3 8B

经常有一些朋友问我本地运行大模型的电脑需要什么样的配置。其实一些常用大模型的运行需要的硬件并不像我们想象的那样高不可攀。不要被那些复杂的技术术语所吓倒,关键在于亲自动手尝试。

图片

“不试,怎么知道呢?” 这句话道出了真理。今天,我将为大家带来三款看似不起眼的纯CPU本地推理Llama3的实测数据,希望它们的表现能给大家对硬件的选择提供一点参考,即使是老旧的硬件也可能在大模型本地推理中发挥出色的作用。

首先,让我们来认识一下今天的三位选手:

一号选手:这是一款陪伴了我十年的SONY笔记本,搭载的是i5 3337U低电压处理器。这款处理器曾是超极本的标配,以其低功耗、低性能和长续航而闻名。记得这台笔记本当年我花掉了一万多,那时我的工资还不到两千。如今,它在二手市场上已难觅踪影。今天,就让我们看看这台老将是否还能发挥余热。

二号选手:这是一台办公室配置的办公电脑,搭载了i5 10400处理器。虽然它已经有些年头,但与新一代的i3 12代处理器相比,它可能只能被按在地上摩擦。在个人电脑市场,性价比更高的12100处理器无疑是更好的选择,它在性能上轻松超越了我们的二号选手。

三号选手:最后,我有一款洋垃圾E5-2686处理器。虽然它被称为“垃圾”,但在体格上,它与前两位选手完全不是一个量级。特别是在大模型推理方面,它拥有多核心的碾压性优势,这一点无需多言。

现在,让我们直接进入正题,展示这些CPU在大模型推理中的实测数据。

i5 3337U:

图片

图片

图片

耗时三分五秒,输出170个字,图上统计181是因为我把我的提问也复制过去了,大概就是每秒一个字的样子。

跑是跑起来了,步子确实有点小,十年前的CPU意料之中。

i5 10400:

图片

图片

图片

用时1分38秒输出210个字,这个速度还是有点慢,如果跑个2B3B的小模型实用性就有那么一点点了,如果i3 12100出手肯定比这个速度快得多。i3 12100才几多钱?llama3 8b轻松拿捏。

E5-2686:

图片

图片

图片

18核36线程不白给,34秒输出215个字,完全满足本地使用的需求,就他的价格,没有任何喷他的理由图片

今天就到这里,See you ~~

如何学习大模型

现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。

作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。

再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/30167.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Linux】基础IO_1

文章目录 六、基础IO1. C语言的文件接口2. 系统文件I/O 未完待续 六、基础IO 1. C语言的文件接口 我们知道 文件 文件内容 文件属性 。即使是一个空文件,仍然会在磁盘中占据空间。那打开文件是什么意思呢?其实文件打开的意思就是:将文件从…

package cmp is not in GOROOT (/usr/local/go/src/cmp)

具体错误 env CGO_ENABLED0 go build -trimpath -ldflags "-s -w" -tags frpc -o bin/frpc ./cmd/frpcclient/admin_api.go:18:2: package cmp is not in GOROOT (/usr/local/go/src/cmp)pkg/util/util/util.go:23:2: package math/rand/v2 is not in GOROOT (/usr/…

力扣每日一题 6/19 排序+动态规划

博客主页:誓则盟约系列专栏:IT竞赛 专栏关注博主,后期持续更新系列文章如果有错误感谢请大家批评指出,及时修改感谢大家点赞👍收藏⭐评论✍ 2713.矩阵中严格递增的单元格数【困难】 题目: 给你一个下标从…

【学习DayNa】信息系统开发整理

✍🏻记录学习过程中的输出,坚持每天学习一点点~ ❤️希望能给大家提供帮助~欢迎点赞👍🏻收藏⭐评论✍🏻指点🙏 结构化方法 结构是指系统内各个组成要素之间的相互联系、相互作用的框架。结构化开发方法就是…

Java应用打包成Docker镜像

# 使用官方的OpenJDK17镜像作为基础镜像 FROM openjdk:17 # 设置工作目录 WORKDIR /app # 复制本地的Java应用程序文件到镜像中的指定目录 COPY target/bear-module-system-0.0.1-SNAPSHOT.jar /app/bear-module-system-0.0.1-SNAPSHOT.jar # 暴露API端口 EXPOSE 8888 …

shell中的流程控制

条件判断在流程控制中的重要性 有了条件判断才能进行if判断即分支流程,才能进行case的多分支流程,才能进行for循环和while循环。 单分支流程判断 如上图所示,在shell编程中常使用英文状态下的分号来在Linux控制台一次性执行多条命令&#x…

小米SU7遇冷,下一代全新车型被官方意外曝光

不知道大伙儿有没有发现,最近小米 SU7 热度好像突然之间就淡了不少? 作为小米首款车型,SU7 自上市以来一直承载着新能源轿车领域流量标杆这样一个存在。 发售 24 小时订单量破 8 万,2 个月后累计交付破 2 万台。 看得出来限制它…

运算放大器(运放)缓冲器(跟随器)电路

运算放大器(Operational Amplifier) 运算放大器(Operational Amplifier)是一种差分放大器,具有高输入电阻、低输出电阻、高开放增益(开环增益),并具有可放大输入引脚与-输入引脚间的电压差的功能。 设计目标 输入输入输出输出频…

“打卡展示”后遗症如何解决

最近看了一本书,里边提到的学习打卡,健身打卡,早期打卡,不管是在家里,在学校,上班族,都在抓紧一切时间提升自己,为了实现目标出现了形形色色的打卡,只要你能想得到的领域…

HTML李峋同款跳动的爱心代码(双爱心版)

目录 写在前面 跳动的爱心 完整代码 代码分析 系列推荐 最后想说 写在前面 在浩瀚的网络世界中,总有一些小惊喜能触动我们的心弦。今天,就让我们用HTML语言,探索既神秘又浪漫的李峋同款跳动的爱心代码吧。 首先,让我们一起…

基于Pytorch框架的深度学习Swin-Transformer神经网络食物分类系统源码

第一步:准备数据 5种鸟类数据:self.class_indict ["苹果派", "猪小排", "果仁蜜饼", "生牛肉薄片", "鞑靼牛肉"] ,总共有5000张图片,每个文件夹单独放一种数据 第二步&…

分布式锁(4):jedis基于Redis setnx、get、getset的分布式锁

1 实现原理 setnx(lockkey, 当前时间+过期超时时间) ,如果返回1,则获取锁成功;如果返回0则没有获取到锁,转向步骤(2)get(lockkey)获取值oldExpireTime ,并将这个value值与当前的系统时间进行比较,如果小于当前系统时间,则认为这个锁已经超时,可以允许别的请求重新获取,…

《多线程》

每一个任务就是一个进程,每个进程内部至少有一个线程在运行中。线程是程序执行的一个路径,每一个线程都有自己的局部变量表,程序技术器,以及各自的生命周期。 1.创建一个线程,并且重写它的run方法,将行为方…

swift使用swift-protobuf协议通讯,使用指北

什么是Protobuf Protobuf(Protocol Buffers)协议😉 Protobuf 是一种由 Google 开发的二进制序列化格式和相关的技术,它用于高效地序列化和反序列化结构化数据,通常用于网络通信、数据存储等场景。 为什么要使用Proto…

UnrealEngine打开Setup.bat,提示Failed to download的解决方法

Failed to download when I run Setup.bat - #3 by Milisours - Getting Started & Setup - Epic Developer Community Forums https://forums.unrealengine.com/uploads/short-url/oGTskBcZI8ACTyCw7jIK2dTmkC7.xml 下载这个文件 然后替换掉Engine/Build/下面的Commit.g…

c++ map set底层模拟实现

关于这两个数据结构的insert接口实现 请看这篇文章 https://blog.csdn.net/l23456789mmmmm/article/details/139500413?spm1001.2014.3001.5501 map::operator[]底层实现请看这篇文章 cmap类operator[]详解_c map operator-CSDN博客 红黑树模拟实现 #pragma once #include &…

Java面试八股之myBatis与myBatis plus的对比

myBatis与myBatis plus的对比 基础与增强: MyBatis 是一个成熟的Java持久层框架,它允许开发者通过XML文件或注解来配置SQL语句和数据库映射,提供了一个灵活的方式来操作数据库,但需要手动编写所有的SQL语句和结果集映射。 MyBa…

Day55 代码随想录打卡|二叉树篇---二叉搜索树中的插入操作

题目(leecode T701): 给定二叉搜索树(BST)的根节点 root 和要插入树中的值 value ,将值插入二叉搜索树。 返回插入后二叉搜索树的根节点。 输入数据 保证 ,新值和原始二叉搜索树中的任意节点值…

【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【11】ElasticSearch

持续学习&持续更新中… 守破离 【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【11】ElasticSearch 简介基本概念ElasticSearch概念-倒排索引安装基本命令ik 分词器SpringBoot整合测试存储数据:测试复杂检索同步与异步调用 参考 简介 Elasticsearch 是一…

【AIGC】MetaGPT原理以及应用

目录 MetaGPT原理 MetaGPT应用 MetaGPT和传统编程语言相比有什么优势和劣势 视频中的PPT 参考资料 MetaGPT原理 MetaGPT是一种多智能体框架,它结合了元编程技术,通过标准化操作程序(SOPs)来协调基于大语言模型的多智能体系统…