Windows 11上RTX 4090深度学习与大模型微调环境安装指南

【本文原作者:擎创科技资深产品专家 布博士】

在安装深度学习及大模型微调环境时,经历了多次反复操作(如CUDA、cuDNN、PyTorch的安装与卸载)。为了避免走弯路,总结了以下步骤:

 步骤 1:显卡驱动安装

首先在安装完Windows 11后,安装RTX 4090显卡的驱动。这是后续步骤的基础。请前往英伟达官网,下载并安装适用于您的显卡的最新驱动程序。

步骤 2:安装Ollama

在显卡驱动安装完成后,安装Ollama,安装后即可利用显卡性能进行大模型推理。

步骤 3:安装CUDA

在进行大模型微调时,需安装深度学习环境,包括CUDA。关键步骤如下:

1. 检查显卡支持的CUDA版本:在命令行中输入以下命令查看支持的CUDA版本:

nvidia-smi

图片

最大的坑是选择了不被支持的CUDA版本(如CUDA 12.6),导致PyTorch及TensorFlow都无法兼容4090显卡。因此选择低于12.6版本的CUDA。后来通过perplexity在线查询反馈上图中表示的是低于12.6版本的cuda都可以。

图片

2. 确认PyTorch兼容版本:由于是实验环境,因此我只考虑pytorch的兼容性,而没有考虑tensorflow。在 [PyTorch官网](https://pytorch.org/get-started/locally/) 查询PyTorch支持的CUDA版本。最终选择CUDA 12.4与PyTorch 2.4.0,Python 3.10。

图片

步骤 4:安装CUDA和cuDNN

前往英伟达官网,下载CUDA 12.4及相应的cuDNN版本。安装过程请参考这篇[博客](https://blog.csdn.net/qq_40379132/article/details/124869378),其中详细介绍了安装步骤及系统环境变量的配置方法。

步骤 5:安装PyTorch

1. 安装Miniconda:首先安装Miniconda。

2. 创建虚拟环境:创建用于大模型开发的虚拟环境并激活该环境。

3. 安装PyTorch:在激活的环境中,使用PyTorch官网提供的安装命令进行安装。推荐使用Conda安装方式,避免依赖包缺失问题。

conda install pytorch torchvision torchaudio cudatoolkit=12.4 -c pytorch

步骤 6:验证安装成功

在Jupyter Notebook中运行以下代码,验证是否安装成功:

图片

如上图:

  • true:代表cuda可用

  • 0:代表当前设备编号,默认从0开始

  • 1:gpu数量,本机只有一个4090

  • NVIDIA GeForce RTX 4090:代表第一个gpu名称

到此,恭喜安装完成。

注意:windows环境中,如果刚安装完,提示找不到dll文件之类的错误,建议重启,再执行如上代码。

图片

———— THE END ———— 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/50902.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

11-sentinel利用nacos作持久化

本文介绍sentinel配置数据的持久化方法。由于sentinel官方并没有提供持久化功能,大家在测试过程中也能发现sentinel服务重启后,原来配置的数据就丢了,本文就是来处理这一问题的。 做好心理准备,我们要修改sentinel的源代码&#…

Qt消息对话框的实现

Widget.cpp #include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this);this -> setWindowIcon(QIcon(":/picture/hp.jpg"));//设置窗口图标this -> setW…

Leetcode JAVA刷刷站(57)插入区间

一、题目概述 二、思路方向 为了解决这个问题,我们可以遍历给定的区间列表 intervals,并同时构建一个新的列表来存储最终的合并结果。遍历过程中,我们检查当前区间是否与 newInterval 重叠或相邻,并根据需要进行合并。如果不重叠…

2024新生训练营 8.20 做题活动

A 输出题罢了不讲直接看代码 #inlclude<stdio.h> int main() {printf("Eclipse First&#xff0c;the Rest Nowhere.");return 0; }B 首先要知道的是凡是大于1的整数要么是质数要么是合数&#xff0c;而1既不是质数也不是合数&#xff0c;题目问从0到n所有质数…

高级java每日一道面试题-2024年8月16日-设计模式篇-解释装饰者模式和代理模式的区别?

如果有遗漏,评论区告诉我进行补充 面试官: 解释装饰者模式和代理模式的区别&#xff1f; 我回答: 在Java中&#xff0c;装饰者模式&#xff08;Decorator Pattern&#xff09;和代理模式&#xff08;Proxy Pattern&#xff09;都是常用的设计模式&#xff0c;它们在结构上看…

微信小程序--30(网络数据请求)

1.小程序中网络数据请求的限制 只能请求HTTPS类型的接口必须将接口的域名添加到信任列表中 2.配置request合法域名 需求描述 希望请求某个域名下的接口 步骤 登录小程序管理后台→开发→开发设置→服务器域名→修改request合法域名 练习 注意事项 域…

TensorFlow和它的弟弟们

TensorFlow、TensorFlow Lite、TensorFlow Lite Micro是Google在深度学习领域推出的三个不同产品&#xff0c;它们各自有着不同的设计目标和适用场景。以下是它们之间的主要区别&#xff1a; 1. TensorFlow (PC\GPU) 设计目标&#xff1a;TensorFlow是一个开源的机器学习框架…

常见的GPU性能对比

写这篇博客的目的就是想搞清楚英伟达不同显卡之间的性能差异以及移动端GPU的性能达到了英伟达显卡的哪一代&#xff0c;让自己也让大家明白不同显卡的算力差异。所有的数据均从网络搜索&#xff0c;有不正确的地方欢迎批评指正。同一显卡会有一个首次发布&#xff0c;此外还有一…

系统架构:分而治之

系统架构&#xff1a;分而治之 引言“分而治之”在架构中的应用模块化设计分层化架构微服务架构 分而治之的优势降低复杂性提高灵活性和可扩展性增强可维护性促进团队协作 分而治之的劣势复杂性转移性能开销开发和运维的复杂性数据一致性挑战 结论 引言 “分而治之”是一种分析…

wo是如何克服编程学习中的挫折感的?

你是如何克服编程学习中的挫折感的&#xff1f; 编程学习之路上&#xff0c;挫折感就像一道道难以逾越的高墙&#xff0c;让许多人望而却步。然而&#xff0c;真正的编程高手都曾在这条路上跌倒过、迷茫过&#xff0c;却最终找到了突破的方法。你是如何在Bug的迷宫中找到出口的…

5.1、生成树协议stp

一、广播风暴 广播风暴&#xff08;Broadcast Storm&#xff09;是网络中的一种现象&#xff0c;通常发生在局域网&#xff08;LAN&#xff09;中。当网络中的交换机或路由器配置错误&#xff0c;或环路没有被有效控制时&#xff0c;广播帧会在网络中无限制地传播&#xff0c;…

QT基础知识4

思维导图 项目文件里面要加texttospeech模块 widget.h: #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QTime>//时间类 #include <QTextToSpeech>//语音播报类QT_BEGIN_NAMESPACE namespace Ui { class Widget; } QT_END_NAMESPACEclass…

C:每日一练:单身狗(2.0版本)

前言&#xff1a; 今天在刷题的时候突然看到一道题&#xff0c;疑似一位故题。仔细一看&#xff0c;欸&#xff01;这不是就是单身狗的升级版吗&#xff1f;我想那必须再安排一篇&#xff0c;不过由于本篇文章与上一篇单身狗文章所涉及的知识点基本相同&#xff0c;所以还请大…

K8S 容器调度

在Kubernetes中&#xff0c;容器调度是一个自动化的过程&#xff0c;负责将容器&#xff08;在Kubernetes中称为Pod&#xff09;分配到集群中的合适节点上运行。这一过程由Kubernetes的调度器&#xff08;kube-scheduler&#xff09;控制&#xff0c;它通过一系列算法和策略来确…

流媒体服务器二:2.RTMP协议学习

RTMP协议详解 一.总体介绍 RTMP协议是应⽤层协议&#xff0c;是要靠底层可靠的传输层协议&#xff08;通常是TCP&#xff09;来保证信息传输的可靠性的。在 基于传输层协议的链接建⽴完成后&#xff0c;RTMP协议也要客户端和服务器通过“握⼿”来建⽴基于传输层链接之 上的RT…

(五)Flink Sink 数据输出

经过上面的 Transformation 操作之后,最终形成用户所需要的结果数据集。通常情况下,用户希望将结果数据输出到外部存储介质或者传输到下游的消息中间件中,在 Flink 中,将 DataStream 数据输出到外部系统的过程被定义为 Sink 操作。 目录 (一)基本数据输出 (二)第三方…

滴滴开源新项目Unify:聚焦Flutter与原生通信难题,助力跨端应用落地

引言 在移动开发领域&#xff0c;移动跨端技术因其提效收益&#xff0c;逐渐成为业界趋势之一。Flutter 作为近年来热门的跨端技术&#xff0c;以高性能、自渲染、泛跨端著称&#xff0c;得到广泛应用。在滴滴国际化业务中&#xff0c;我们大量应用 Flutter。目前已在滴滴国际化…

JavaScript typeof

在 JavaScript 中有 5 种不同的可以包含值的数据类型&#xff1a; stringnumberbooleanobjectfunction 有 6 种类型的对象&#xff1a; ObjectDateArrayStringNumberBoolean 以及 2 种不能包含值的数据类型&#xff1a; nullundefined typeof 运算符 您可以使用 typeof …

C语言-使用数组法,指针法实现将一个5X5的矩阵中最大的元素放在中心,四个角分别放四个最小的元素(顺序为从左到右,从上到下,从小到大存放),写一函数实现之。

1.题目要求&#xff1a; 将一个5X5的矩阵中最大的元素放在中心&#xff0c;四个角分别放四个最小的元素&#xff08;顺序为从左到右&#xff0c;从上到下&#xff0c;从小到大存放&#xff09;&#xff0c;写一函数实现之。 2.数组法实现 #define _CRT_SECURE_NO_WARNINGS 1…

python从入门到精通:数据容器

数据容器介绍 一种可以容纳多份数据的数据类型&#xff0c;容纳的每一份数据称之为一个元素&#xff0c;可以是任意类型的数据&#xff0c;如字符串、数字、布尔等。 数据容器根据特点的不同&#xff0c;如&#xff1a; 是否支持重复元素 是否可以修改 是否有序&#xff0…