笔记本跑大模型尝试

1,笔记本电脑资源

我是一台联想笔记本电脑,基本配置如下:

CPU:12th Gen Intel(R) Core(TM) i7-1255U   1.70 GHz  (12核心,2个P核和8个E核,共计10个核心)

显卡:NVIDIA GeForce MX550

内存:40.0 GB

操作系统:Windows 10 专业版

想初步评估下用LM studio下载一个本地大模型运行试试看。

2.下载LM studio及大模型参数

直接到LM的网站下载

LM Studio - Discover, download, and run local LLMs

之后直接安装,安装完成后,可以查看配置:

下载大模型参数:

如上,结果没有出现大模型的列表,提示:

There was an error fetching results from Hugging Face, please try again in a little bit

这个应该是无法访问 Hugging Face,直接浏览器访问:huggingface.co

果然无法访问,那应该是网络屏蔽了, 科学上网试试,果然就可以了。

之后LM studio就可以看到大模型列表了,下载一个8B的deepseek的模型:

deepseek-r1-distill-llama-8b-abliterated

速度很快就下载完成。

3. 加载大模型

下载完成后,直接默认加载,加载部分后,提示错误:

Failed to load model

unable to allocate backend buffer

问大模型,告知可能原因:

  1. 内存不足
  2. 显存不足
  3. 模型损坏
  4. 驱动或库不匹配
  5. 软件问题等

为了确保模型文件OK,再下载了一个模型:

deepseek-r1-distill-qwen-7b

完成后,选择一个加载。

默认配置如下加载

加载到35%左右,会提示失败:

这个一般是内存不足了(也有可能是模型数据有问题,但我是直接下载后执行的,不是拷贝过来的,而且下载了两个模型都提示这个,所以应该就不是这个问题)。

修改下参数,如下:

之后就加载成功了,完成之后,可以提交问题。

4. 选择大模型运行

对话框提交一个问题:

在此期间,内存基本保持4.5GB,在thinking问题时,CPU保持在33%左右。

回答问题的时间:

回答时间长,而且回答非常简短,参考意义不大,同样的问题提交给文心一言,3S内给出答案,比较全面,如下:

5.总结

我的笔记本资源还算可以,内存40G,独立显卡,12核CPU,这样的配置部署一个本地7B的本地大模型,计算速度太慢了,资源占用也比较大,一个简单问题,明显CPU的风扇声音就起来了,由此看出哪怕是小参数的大模型,对硬件要求也是很高的,显存不大的电脑,还真运行不了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/67336.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C语言实现扫雷游戏(有展开一片和标记雷的功能)

实现准备 分2个.c源文件和1个.h头文件去写代码 test.c 对扫雷游戏进行测试game.c 扫雷游戏功能的实现game.h 扫雷游戏功能的声明 扫雷游戏 1.test.c对扫雷游戏进行测试 首先我们要先把玩游戏的框架写出来,然后一步一步去完成其功能 跟着下面的代码的节奏走一步一步…

基础IO(2)

基础IO(2) 理解“⼀切皆⽂件” ⾸先,在windows中是⽂件的东西,它们在linux中也是⽂件;其次⼀些在windows中不是⽂件的东西,⽐如进程、磁盘、显⽰器、键盘这样硬件设备也被抽象成了⽂件,你可以使…

Transformation,Animation and Viewing

4 Transformation,Animation and Viewing 声明:该代码来自:Computer Graphics Through OpenGL From Theory to Experiments,仅用作学习参考 4.1 Modeling Transformations 平移、缩放和旋转,即 OpenGL 的建模转换&…

Deepseek的RL算法GRPO解读

在本文中,我们将深入探讨Deepseek采用的策略优化方法GRPO,并顺带介绍一些强化学习(Reinforcement Learning, RL)的基础知识,包括PPO等关键概念。 策略函数(policy) 在强化学习中, a…

【python】python基于机器学习与数据分析的二手手机特性关联与分类预测(源码+数据集)【独一无二】

👉博__主👈:米码收割机 👉技__能👈:C/Python语言 👉专__注👈:专注主流机器人、人工智能等相关领域的开发、测试技术。 python基于机器学习与数据分析的二手手机特性关联与…

手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion(代码)

手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion(代码) 目录 手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion(代码)Stable Diffusion 原理图Stable Diffusion的原理解释Stable Diffusion 和Di…

前端【8】HTML+CSS+javascript实战项目----实现一个简单的待办事项列表 (To-Do List)

目录 一、功能需求 二、 HTML 三、CSS 四、js 1、绑定事件与初始设置 2.、绑定事项 (1)添加操作: (2)完成操作 (3)删除操作 (4)修改操作 3、完整js代码 总结…

vue事件总线(原理、优缺点)

目录 一、原理二、使用方法三、优缺点优点缺点 四、使用注意事项具体代码参考: 一、原理 在Vue中,事件总线(Event Bus)是一种可实现任意组件间通信的通信方式。 要实现这个功能必须满足两点要求: (1&#…

图像处理之HSV颜色空间

目录 1 RGB 的局限性 2 HSV 颜色空间 3 RGB与HSV相互转换 4 HSV颜色模型对图像的色相、饱和度和明度进行调节 5 演示Demo 5.1 开发环境 5.2 功能介绍 5.3 下载地址 参考 1 RGB 的局限性 RGB 是我们接触最多的颜色空间,由三个通道表示一幅图像,分…

【C++高并发服务器WebServer】-9:多线程开发

本文目录 一、线程概述1.1 线程和进程的区别1.2 线程之间共享和非共享资源1.3 NPTL 二、线程操作2.1 pthread_create2.2 pthread_exit2.3 pthread_join2.4 pthread_detach2.5 patch_cancel2.6 pthread_attr 三、实战demo四、线程同步五、死锁六、读写锁七、生产消费者模型 一、…

14-6-1C++STL的list

(一)list容器的基本概念 list容器简介: 1.list是一个双向链表容器,可高效地进行插入删除元素 2.list不可以随机存取元素,所以不支持at.(pos)函数与[ ]操作符 (二)list容器头部和尾部的操作 list对象的默…

21.Word:小赵-毕业论文排版❗【39】

目录 题目​ NO1.2 NO3.4 NO5.6 NO7.8.9 NO10.11.12 题目 NO1.2 自己的论文当中接收老师的修改:审阅→比较→源文档:考生文件夹:Word.docx→修订的文档:考生文件夹:教师修改→确定→接收→接收所有修订将合并之…

深度学习 DAY3:NLP发展史及早期的前馈神经网络(ANN)及多任务学习

NLP发展史 NLP发展脉络简要梳理如下: 2001 - Neural language models(神经语言模型) 2008 - Multi-task learning(多任务学习) 2013 - Word embeddings(词嵌入) 2013 - Neural networks for NL…

全面了解 Web3 AIGC 和 AI Agent 的创新先锋 MelodAI

不管是在传统领域还是 Crypto,AI 都是公认的最有前景的赛道。随着数字内容需求的爆炸式增长和技术的快速迭代,Web3 AIGC(AI生成内容)和 AI Agent(人工智能代理)正成为两大关键赛道。 AIGC 通过 AI 技术生成…

54.数字翻译成字符串的可能性|Marscode AI刷题

1.题目 问题描述 小M获得了一个任务,需要将数字翻译成字符串。翻译规则是:0对应"a",1对应"b",依此类推直到25对应"z"。一个数字可能有多种翻译方法。小M需要一个程序来计算一个数字有多少种不同的…

RabbitMQ5-死信队列

目录 死信的概念 死信的来源 死信实战 死信之TTl 死信之最大长度 死信之消息被拒 死信的概念 死信,顾名思义就是无法被消费的消息,一般来说,producer 将消息投递到 broker 或直接到queue 里了,consumer 从 queue 取出消息进…

10JavaWeb——SpringBootWeb案例01

前面我们已经讲解了Web前端开发的基础知识,也讲解了Web后端开发的基础(HTTP协议、请求响应),并且也讲解了数据库MySQL,以及通过Mybatis框架如何来完成数据库的基本操作。 那接下来,我们就通过一个案例,来将前端开发、后…

JAVA 接口、抽象类的关系和用处 详细解析

接口 - Java教程 - 廖雪峰的官方网站 一个 抽象类 如果实现了一个接口,可以只选择实现接口中的 部分方法(所有的方法都要有,可以一部分已经写具体,另一部分继续保留抽象),原因在于: 抽象类本身…

ResNeSt: Split-Attention Networks论文学习笔记

这张图展示了一个名为“Split-Attention”的神经网络结构,该结构在一个基数组(cardinal group)内进行操作。基数组通常指的是在神经网络中处理的一组特征或通道。图中展示了如何通过一系列操作来实现对输入特征的注意力机制。 以下是图中各部…

设计模式Python版 原型模式

文章目录 前言一、原型模式二、原型模式示例三、原型管理器 前言 GOF设计模式分三大类: 创建型模式:关注对象的创建过程,包括单例模式、简单工厂模式、工厂方法模式、抽象工厂模式、原型模式和建造者模式。结构型模式:关注类和对…