NVIDIA AI Workbench 让 Windows 上的 GPU 使用更加简便

NVIDIA AI Workbench 是一款免费的、用户友好型开发环境管理器,可在您选择的系统(PC、工作站、数据中心或云)上简化数据科学、ML 和 AI 项目。在 Windows、macOS 和 Ubuntu 上,您可以本地开发、测试项目和构建项目原型,并在系统(本地和远程)之间轻松传输开发环境和计算工作,以优化成本、可用性和规模。

AI Workbench 专注于简化开发者体验,而不会阻碍高级用户所需的自定义类型。那是 AI Workbench 处理容器的主要原因。它们是提供和修改 GPU 加速工作所需环境的最简单方法。

这一重点还意味着与生态系统合作伙伴合作,以改善用户体验。例如,与 Canonical 的协作有助于使用 Ubuntu WSL 发行版在 Windows 上安装 AI Workbench。

最近,NVIDIA 与 Docker Desktop 团队合作创建了一项功能,允许 AI Workbench 直接安装 Docker Desktop。这项功能在最新的 AI Workbench 版本中提供,可显著简化 Windows 和 macOS 上的体验。

这种简化使AI Workbench成为在您自己的系统上入门的最简单方式,从笔记本电脑和工作站一直到服务器和VM。

托管式 Docker 桌面安装

Docker Desktop 是 NVIDIA AI Workbench 上适用于 Windows 和 macOS 的推荐容器运行时。然而,在选择 Docker 之前需要手动设置步骤。为了消除这些手动步骤,NVIDIA 与 Docker 合作,为本地系统安装了支持 NVIDIA AI Workbench 的 Docker Desktop。

这是 Docker 首次支持另一个应用程序为 Docker Desktop 执行托管安装。得益于此次合作,安装适用于 NVIDIA AI Workbench 的 Docker Desktop 现在变得非常简单。有关更多信息,请参阅使用 Docker Desktop 和 NVIDIA AI Workbench 优化 AI 应用程序开发(Docker 网站)。

选择 AI Workbench 的 Docker 容器运行时,系统将自动完成以下任务:

  • 安装 Docker Desktop:以前,如果尚未安装 AI Workbench 安装程序,您必须退出 AI Workbench 安装程序并手动安装 Docker Desktop。现在,您可以让 AI Workbench 安装 Docker Desktop,而无需退出 AI Workbench 安装程序。
  • 在 Windows 上配置 Docker Desktop:AI Workbench 使用其自己的 WSL 发行版,NVIDIA-Workbench。以前,Windows 用户必须手动配置 Docker Desktop 才能使用此发行版,现在,这将自动实现。

新的 AI 工作台项目

在此版本中包含一组新的示例项目,为您使用和构建。AI Workbench 项目是一个结构化的 Git 存储库,在 AI Workbench 中定义了容器化的开发环境。

这些项目支持 Jupyter 和 Visual Studio Code 等 IDE 以及用户配置的 Web 应用程序。所有内容都是容器化的、隔离的和易于修改的。你可以从 GitHub 或 GitLab 克隆项目,然后 AI Workbench 会处理所有内容,包括连接到 GPUs。

迄今为止,这方面的最佳示例是 GitHub 上的 Hybrid-RAG 项目。借助 AI Workbench,您只需克隆项目并单击几下,即可运行 RAG 应用程序。如果您没有本地 GPU,该项目允许您使用云端点或自托管 NIM 容器为您运行推理。

此版本在 GitHub 上提供了一些示例 AI 工作台项目,这些项目将继续开发 RAG 主题。此外,还有一些基于 Jupyter 的新微调项目和支持 NVIDIA RTX AI 工具包的 LlamaFactory 项目。

智能 RAG

借助 Agentic RAG AI Workbench 项目,您可以与 AI 智能体合作,将 Web 搜索工具调用纳入 RAG 工作流。智能体不仅可以处理数据库中的文档,还可以在线动态搜索新文档作为后备,以更好地响应查询。

A diagram shows the routing of user queries through either the RAG pipeline or the web search tool pipeline.

Figure 1. Structure of the agentic RAG example project.

LLM 代理是专为感知环境并作出反应而设计的系统,通常通过工具调用来更好地采取相关行动。这项项目实现了基于 LangGraph 的 RAG 代理,其中包含以下代理元素,以改进响应生成:

  • 路由:根据查询主题将相关问题路由到不同的工作流程。
  • Fallback:如果检索到的文档与查询无关,则返回 Web 搜索。
  • 自我反射:修复无法解决问题的幻觉和答案。

A GIF shows how a user query in the agentic RAG example project is routed to the RAG pipeline or the web search tool pipeline to generate a response.

图 2. 具有可自定义 Gradio 聊天 UI 的 Agentic RAG 示例项目。

此项目包含可定制的 Gradio 聊天应用,使您能够使用远程运行的端点和微服务运行推理,无论是在云端使用 NVIDIA API 目录、使用 NVIDIA NIM 的自托管端点,还是第三方自托管微服务。您可以通过聊天应用轻松切换推理模式。

随时随地进行 NIM

NIM Anywhere 是一个一体化项目,用于构建包含预配置 RAG 聊天机器人的基于 NIM 的 RAG 应用程序。

A diagram of a monitor window facing up with building blocks labeled “Libraries”, “NIM”, “IDE Config”, and “Data Stores” extending from it.

图 3.NIM Anywhere 示例项目

  • Docker 自动化:将 NIM、Milvus 和 Redis 等服务作为持久容器与主项目一起运行。
  • 用户可配置模型:在使用 NVIDIA API 目录上的 NIM 微服务或本地运行的自托管 NIM 微服务之间切换 RAG 的运行方式。
  • 可自定义前端:将视图添加到前端Gradio应用程序,以扩展项目并构建新的用例。

NIM 微服务作为 NVIDIA AI Enterprise 的一部分提供,但您也可以加入 NVIDIA 开发者计划,免费开始使用 NVIDIA NIM。

微调项目

最后,我们介绍了一些针对令人兴奋的新模型的微调工作流程。每个项目都具有可以量化的模型,以适应单个GPU:

  • Mixtral 8x7B: AI Workbench 的第一个示例项目,演示了专家混合模型 (Mixture of Experts, MoE) 的微调。
  • Llama 3 8B:一个示例项目,展示两种方法:监督式完全微调(Supervised Full Fine-tuning,SFT)和直接偏好优化(Direct Preference Optimization,DPO)。
  • Phi-3 Mini:一个小巧的模型,具备量化能力,是一个高度易于访问的微调示例。
  • RTX AI 工具包:为 Windows 应用程序开发者提供端到端工作流。您可以使用热门的基础模型,使用 Workbench 项目使用微调技术对其进行自定义,并将模型部署到 Windows 应用程序中,以在各种 NVIDIA GPU(从 NVIDIA RTX PC 和工作站到云)上获得峰值性能。您可以通过使用 AI Workbench 和 LlamaFactory 图形用户界面开始使用。

其他新功能

我们的开发流程包括用户提出的直接功能请求。以下功能基于这些用户反馈:

  • SSH 代理
  • Ubuntu 24.04
  • 日志记录

SSH 代理

Ai Workbench 的一些企业用户需要使用受密码保护的 SSH 密钥来访问遥控器。这通过在 2024.07 版本中添加 SSH 代理支持来解决这一问题。你还可以选择使用早期的 SSH 密钥功能。

Ubuntu 24.04

以前,Ubuntu 22.04 是唯一支持安装 AI Workbench 的 Linux 发行版。2024.07 版本增加了 Ubuntu 24.04 的支持。

日志记录

AI Workbench 具有多个日志文件,这些文件的查找和解释十分复杂。为了解决此问题,AI Workbench CLI 现在提供了一个支持命令,让您可以将元数据和日志导出到 zip 文件中。这消除了查找文件的需求,并包含可发送至 NVIDIA 支持部门以加快诊断和补救速度的元数据。

即将推出

以下是 AI Workbench 的发展方向:应用分享和多容器支持。

应用共享

目前,只有运行 Workbench 项目的用户才能访问该 Workbench 项目中正在运行的应用程序。一些用户已请求能够共享正在运行的应用程序。

在下一个版本中,AI Workbench 用户将能够通过链接在 Workbench 项目中安全地共享 Web 应用程序。经过身份验证的用户可以直接在 Web 浏览器中访问应用程序,而无需使用 AI Workbench。

多容器支持

当前使用 NIM Anywhere 项目的多容器方法有点变通。即将发布的 AI Workbench 版本将简化对多容器应用程序的支持。

后续步骤

通过从网页安装 AI Workbench 应用程序,开始使用 AI Workbench。已经拥有 AI Workbench 的用户可以按照说明更新到最新版本。有关更多信息,请参阅在 Windows 上安装 AI Workbench。

探索从数据科学到 RAG 的一系列 NVIDIA AI Workbench 项目示例。在 NVIDIA AI Workbench 开发者论坛上提问,并详细了解其他开发者如何使用 NVIDIA AI Workbench。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/52562.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

一文说清什么是数据仓库

01 数据仓库的概念 数据仓库的概念可以追溯到20世纪80年代,当时IBM的研究人员开发出了“商业数据仓库”。本质上,数据仓库试图提供一种从操作型系统到决策支持环境的数据流架构模型。 目前对数据仓库(Data Warehouse)的标准定义&a…

【研赛论文】数学建模2024华为杯论文word/latex模板

国赛结束,研究生瞩目的研赛马上就要来了,相信研究生同学也是在努力的准备当中,在这里祝愿大家能够获得一个好的名次。一举冲出重围,拿下国奖。在数模比赛当中,论文是参赛者唯一能够与评阅老师进行沟通的方式&#xff0…

工厂安灯系统在优化生产流程上的优势

工厂安灯系统通过可视化的方式,帮助工厂管理者和操作工人及时了解生产状态,快速响应问题,从而优化生产流程。 一、安灯系统实时监控与反馈 安灯系统的核心功能是实时监控生产线的状态。通过在生产现场设置灯光、显示屏等设备,工人…

VUE + NODE 历史版本安装

以node 12.20.0为例子,想下载哪个版本,后面写哪个版本 https://registry.npmmirror.com/binary.html?pathnode/v12.20.0/ 安装国内镜像7.1.0 cnpm npm install -g cnpm7.1.0 -g --registryhttps://registry.npmmirror.com 安装vue脚手架4.5.15 cnpm …

【最新顶刊综述】【多模态学习】Vision + X:A Survey on Multimodal Learning in the Light of Data

VisionX:基于数据的多模态学习综述 论文链接 0.论文摘要和信息 摘要 摘要——我们以多感官的方式感知世界并与世界交流,不同的信息源由人脑的不同部分复杂地处理和解释,构成一个复杂但和谐统一的感知系统。为了赋予机器真正的智能&#x…

【信创】麒麟KOS上安装使用网络抓包工具Wireshark

原文链接:【信创】麒麟KOS上安装使用网络抓包工具Wireshark Hello,大家好啊!今天给大家带来一篇关于如何在麒麟桌面操作系统上安装和使用Wireshark的文章。Wireshark是一款强大的网络协议分析工具,广泛应用于网络故障排查、网络流…

OCR在线识别网站现已上线!

注意,本文只提供学习的思路,严禁违反法律以及破坏信息系统等行为,本文只提供思路 如有侵犯,请联系作者下架 由作者亲自开发的ocr识别网站哈哈,暂时汇聚了三十多种验证码模型以及算法,欢迎各路朋友去尝试,网站地址如下 http://gbj5w3.natappfree.cc/ocr 验证码类型包括但…

qt绘制时钟

代码 #include "widget.h" #include "ui_widget.h"#include <QWidget> #include <QPaintEvent> //绘图事件 #include <QDebug> //测试 #include <QPainter> //画家 #include <QPen> //笔 #include <QBrush> //画刷 …

JDK下载安装教程(国产化生产环境无联网服务器部署JDK实操)

-----------------------------生产环境实操&#xff0c;记录时间2024年09-11日----------------------------- 前言&#xff1a;一定要下载适合自己系统版本的JDK 1.32位系统就下载32位系统的JDK&#xff0c;64位系统就下载64位系统的JDK&#xff0c;否则会报错&#xff01;…

C语言小游戏--贪吃蛇实现

C语言小游戏--贪吃蛇实现 1.游戏实现背景2.Win32 API介绍2.1什么是Win32 API2.2控制台程序(Console)2.3控制台屏幕的坐标COORD2.4GetStdHandle2.4.1函数语法2.4.2函数的使用 2.5GetConsoleCursorInfo2.5.1函数语法2.5.2函数的使用 2.6CONSOLE_CURSOR_INFO2.6.1结构体结构2.6.2结…

【佳学基因检测】在织梦网站中, 创建或修改目录:/var/www/html/cp 失败! DedeTag Engine Create File False

【佳学基因检测】在织梦网站中, 创建或修改目录&#xff1a;/var/www/html/cp 失败&#xff01; DedeTag Engine Create File False 在使用 DedeCMS&#xff08;一个常用的内容管理系统&#xff09;时&#xff0c;如果遇到“创建或修改目录&#xff1a;/var/www/html/cp 失败&…

系统架构师考试学习笔记第四篇——架构设计实践知识(18)面向服务架构设计理论与实践

本章考点&#xff1a; 第18课时主要学习面向服务架构设计理论与实践。根据考试大纲&#xff0c;本课时知识点会涉及单选题型&#xff08;约占2~5分&#xff09;和案例题&#xff08;25分&#xff09;&#xff0c;本课时内容偏重于方法的掌握和应用&#xff0c;根据以往全国计算…

[数据集][目标检测]水面垃圾检测数据集VOC+YOLO格式2027张1类别

数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径的txt文件&#xff0c;仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)&#xff1a;2027 标注数量(xml文件个数)&#xff1a;2027 标注数量(txt文件个数)&#xff1a;2027 标注…

【代码随想录训练营第42期 Day56打卡 - 图论Part6 - 并查集2 - 冗余连接问题

目录 一、做题心得 二、题目与题解 题目一&#xff1a;108. 冗余连接 题目链接 题解&#xff1a;并查集 题目二&#xff1a;109. 冗余连接II 题目链接 题解&#xff1a;并查集 三、小结 一、做题心得 冗杂连接问题是图论章节应用并查集的经典问题。所有的顶点通过边相…

互联网+教育中小学校园云解决方案

1. “互联网”教育的定义与目标 “互联网”教育是指利用信息技术&#xff0c;包括移动互联网、云计算、大数据和物联网等&#xff0c;推动教育变革和创新。其目标是构建一个网络化、数字化、个性化和终身化的教育体系&#xff0c;实现学习型社会的建设&#xff0c;培养创新人才…

【Linux:文件系统】

了解磁盘结构 盘片可读可写一面盘面有一个磁头&#xff0c;一个盘片俩磁头磁盘本质是一个机械设备磁盘中的盘片高速旋转是为了定为扇区磁盘中的磁头 左右摆动定义磁道磁盘的读写单位&#xff1a;4kb /512字节 如何找到一个指定的扇区 找到指定的磁头&#xff08;header)找到指定…

动手学深度学习(pytorch土堆)-03Transforms简单入门学习

1 torchvision中的transforms主要是对图片进行一些变换。 transforms结构及用法 将特定格式图片经过transforms里面的工具处理输出预期的图像 Totensor使用 tensor数据类型可以理解为包装了一些反向神经网络所需要的一些参数 PIL_Image读取 img_path"hymenoptera_da…

【软件测试】测试的分类

目录 &#x1f384;为什么要对软件测试进行分类&#xff1f; &#x1f333;按照测试目标分类 &#x1f6a9;界面测试 &#x1f6a9;功能测试 &#x1f6a9;性能测试 &#x1f6a9;可靠性测试 &#x1f6a9;安全性测试 &#x1f6a9;易用性测试 &#x1f3c0;标准性和规…

QT Creater实现国庆节主题项目【0基础完成版】

本文适用对象 想要学习qt creater的小白;想要学习c++制作软件的编程爱好者。可以先下载这篇博客绑定的资源,然后一边操作,一边学习,会更高效~0. 创建初始项目 一步步来操作吧,首先下载qt creter,之前发布过相关资源,大家直接查找下载,或者自行下载。 1. 初始代码 mai…

RLFD: Imitation Bootstrapped Reinforcement Learnin

CoRR 2023 paper 视觉或向量输入下的RLFD方法&#xff0c;利用模仿学习得到的策略&#xff0c;以自举方式引导在强化学习的策略优化以及价值函数优化。同时&#xff0c;为了更好的表征&#xff0c;IBRL选取VIT-based的网络以及添加Dropout 到policy。 Method 首先利用模仿学…