教程:A5000 GPU 上运行阿里最新开源大模型 Qwen2

这是我们新一篇关于大模型的文章,我们此前还讲过如何运行 LLama3 大模型而这次,我们将使用 Ollama 运行阿里千问Qwen2:7b。要知道 Qwen2 可是目前最热门的开源大语言模型了,甚至在一些性能测试中比 LLama3 表现还突出。谁不想试试看呢?

在本文中,我们将使用目前市场上最热门的 GPU 之一,NVIDIA A5000。让 Qwen2 在这个 GPU 上运行起来!

基于Ampere架构构建的 A5000 ,是一款强大的 GPU,其性能被公认为能胜任 增强图形渲染、大模型训练和推理等工作。A5000 有 8192 个 CUDA 核心和 24GB 的 GDDR6 内存,并具备很强的计算能力和较高的内存带宽。

A5000 支持实时光线追踪、AI 增强型工作流程以及 NVIDIA 的 CUDA 和 Tensor 核心等高级功能,可提高性能。凭借其强大的功能,A5000 非常适合处理复杂的模拟、大规模数据分析和渲染高分辨率图形。

简单介绍下阿里 Qwen2-7b

Qwen2 是阿里云最新推出的大语言模型系列,提供基础模型和指令调优版本,参数范围从 5 亿到 720 亿,其中包括一个 Mixture-of-Experts 模型。该模型已经在 Hugging Face 上开源了。而且开源后 Hugging Face 的联合创始人兼首席执行官就发文宣布,Qwen2-72B 冲上HuggingFace 开源大模型榜单 Open LLM Leaderboard 第一名,全球排名最高!

与其他开源模型如 Qwen1.5 相比,Qwen2在各种基准测试中通常表现更好,包括语言理解、生成、多语言能力、编码、数学和推理。Qwen2 系列基于 Transformer 架构,并具有如 SwiGLU 激活、注意力 QKV 偏差、组查询注意力和改进的分词器等增强功能,适用于多种语言和代码。

此外,据说 Qwen2-72B 在所有测试的基准测试中都以很大的优势超过了 Meta 的 Llama3-70B。

下面这张图显示了 Qwen2-72B 在各种基准测试中的性能,它在多个领域进行了 16 项基准测试的全面评估。这个模型在增强能力和与人类价值观的一致性之间取得了平衡。此外,该模型在所有基准测试中显著优于 Qwen1.5-72B-Chat,并与 Llama-3-70B-Instruct 相比甚至更胜一筹。即使是较小的 Qwen2 模型也超越了与之类似或更大的一些模型。Qwen2-7B-Instruct 在基准测试中“遥遥领先”,特别是在编码和与中文相关的指标上表现出色。

可用型号

Qwen2 的训练涵盖了包括英语和中文在内的 29 种语言。它有五种参数大小:0.5B、1.5B、7B、57B 和 72B。7B 和72B 模型的上下文长度已扩展到 128k 个 token。

图:Qwen2系列包括五个不同大小的基础和指令调整模型

另一个要用到的开源项目 Ollama

本文将向你展示使用 Ollama 运行 Qwen2 的最简单方法。所以我们有必要给还未使用过 Ollama 的朋友们介绍一下它。

Ollama 是一个开源项目,提供了一个用户友好的平台,可以在你的电脑或使用 DigitalOcean Paperspace (GPU云服务)等平台上执行大语言模型(LLMs)。

Ollama 提供对各种预训练模型库的访问,可在多种不同的操作系统上轻松安装和配置,并公开本地 API 以无缝集成到应用程序和工作流程中。用户可以自定义和微调 LLM,通过硬件加速优化性能,并提供简单的交互界面以方便用户进行直观地交互操作。

另一个要使用到的平台 Paperspace

Paperspace 是 DigitalOcean(NYSE:DOCN)旗下的 GPU 云服务,为 AI 企业提供开发、训练、部署等一系列云计算服务。DigitalOcean 的 Paperspace 是 NVIDIA 官方 CSP 合作伙伴,提供了包括 H100、A100、A5000、A6000 等多种 GPU 资源。同时,DigitalOcean 的 GPU 云服务还提供了云端环境,开发者可以在云端训练、部署 AI 应用。DigitalOcean 还在中国地区通过独家战略合作伙伴卓普云,专门为中国地区的用户提供售前咨询与技术支持服务。

在成本上,DigitalOcean 的 GPU 价格比 AWS 和 GCP 更加亲民,而且卡型更加丰富。相对于 GPU 租赁平台,DigitalOcean 不仅技术与功能更加成熟可靠,而且提供较高的数据安全性。

本文后续的开发过程,就会用到 DigitalOcean 的 A5000 GPU 云服务。

使用 Ollama 在 Paperspace 上运行 Qwen2-7b

在我们开始之前,让我们首先检查 GPU 的规格。

nvidia-smi

图:显示 NVIDIA A5000 的规格

接下来,打开一个终端,我们将开始下载 Ollama。要下载 Ollama,请将以下代码粘贴到终端中,然后按 Enter。

curl -fsSL https://ollama.com/install.sh | sh

这一行代码将开始下载 Ollama。

完成此操作后,清空屏幕,输入以下命令并按回车来运行模型。

ollama run qwen2:7b

如果遇到错误:无法连接到ollama应用程序,它是否正在运行?尝试运行以下代码,这将帮助启动ollama服务

ollama serve

并打开另一个终端并再次尝试该命令。

或者尝试通过运行以下命令手动启用 systemctl 服务

sudo systemctl enable ollama sudo systemctl start ollama

现在,我们可以运行模型了。

ollama run qwen2:7b

上图显示了在 Paperspace 中的实际运行过程。我们将下载模型的层。由于它是一个量化模型,所以下载过程不会花费太多时间。

接下来,我们将开始使用我们的模型回答一些问题,检查模型的工作方式。

  • 编写一个 Python 代码来计算斐波那契数列

图:Qwen2:7b 模型生成的斐波那契的 Python 代码

你可以尝试一下该模型的其它版本,但 7b 是最新版本,并且是与 Ollama 一起提供的。

模型在各个方面都表现出色,与早期模型版本相比,它目前与 GPT 的整体性能相近。

用于评估的测试数据来自 Jailbreak,并翻译成多种语言。值得注意的是,Llama-3 在多语言测试中表现不佳,因此被排除在此次比较之外了。研究结果表明,Qwen2-72B-Instruct 模型达到了与 GPT-4 相当的安全水平,并根据显著性检测(P值)显著优于 Mistral-8x22B 模型。


结论

总之,我们可以说 Qwen2-72B-Instruct 模型在各种基准测试中展示了其卓越的性能。特别是,Qwen2-72B-Instruct 超越了之前的版本,如 Qwen1.5-72B-Chat,并且与像 GPT-4 这样的最先进模型相比也毫不示弱,这一点通过显著性测试结果就能得到证明。此外,它在多语言环境中的安全性方面显著优于像 Mistral-8x22B 这样的模型。

大语言模型如 Qwen2 的使用的快速增长预示着一个未来,在这个未来中,人工智能驱动的应用程序和解决方案将变得越来越复杂。这些模型有潜力彻底改变包括自然语言理解、生成、多语言交流、编码、数学和推理在内的各个领域。随着这些模型的持续进步和改进,我们可以期待人工智能技术取得更大的飞跃,从而开发出更智能、更像人类的系统,更好地满足社会需求,同时遵守道德和安全标准。

希望你喜欢这篇文章!如果你希望利用 H100 或 A6000等型号的 GPU 进行推理或训练,欢迎尝试 DigitalOcean 的 GPU 云服务,如果希望咨询更详细的产品方案,可联系 DigitalOcean 中国区独家战略合作伙伴卓普云。

参考链接

  • Hello Qwen2

  • Huggingface 上的 Qwen2-7B

  • Ollama

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/26395.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

创建FileInputStream对象不使用filePath,而是用字节流数组,怎么改

改之前 fileInputStream new FileInputStream(new File(filePath)); fileReader new PdfReader(fileInputStream); fileDocunment new PdfDocument(fileReader);改之后 如果你有一个字节流数组(byte array)而不是文件的路径,并且你想要使…

C#下WinForm多语种切换

这是应一个网友要求写的,希望对你有所帮助。本文将介绍如何在一个WinForm应用程序中实现多语种切换。通过一个简单的示例,你将了解到如何使用资源文件管理不同语言的文本,并通过用户界面实现语言切换。 创建WinForm项目 打开Visual Studio&a…

最新下载:XmanagerXShell【软件附加安装教程】

​XManager企业版是一款完整的企业网络连接套件,它配备了一个高性能的PC服务器,安全终端模拟器,是一个一体化的解决方案,将xmanager,xshell,xftp,xlpd,Xbrowser及xstart放置在一个软…

代码随想录算法训练营DAY37| 56. 合并区间、738.单调递增的数字、968.监控二叉树、总结

56.合并区间 题目链接&#xff1a;56. 合并区间 class Solution(object):def merge(self, intervals):""":type intervals: List[List[int]]:rtype: List[List[int]]"""intervals.sort(key lambda x:x[0])i0while i<len(intervals)-1:if i…

C#发送邮件

C#发送邮件代码&#xff0c;亲测可用。 using System; using System.Net; using System.Net.Mail;namespace MailSend {class Program{static void Main(string[] args){try{MailAddress receiver new MailAddress("666666666qq.com");//666666666qq.com 换成收件人…

前端面试题日常练-day66 【面试题】

题目 希望这些选择题能够帮助您进行前端面试的准备&#xff0c;答案在文末 TypeScript中&#xff0c;以下哪个关键字用于声明一个类的静态属性或方法&#xff1f; a) static b) const c) let d) final 在TypeScript中&#xff0c;以下哪个符号用于声明一个变量的类型为任意类…

从零开始手把手Vue3+TypeScript+ElementPlus管理后台项目实战十(整体布局03之界面美化)

删除style.css 删除style.css(和main.ts同级) 并且注释掉main.ts中对style.css的导入。 修改App.vue 添加样式设置高度100% 安装sass pnpm install -D sass修改PageSidebar.vue 修改index.vue 修改src/layout/index.vue src/layout/index.vue添加样式 <style lang&quo…

09_探索时间序列的秘密:重新理解LSTM网络

1.1 简介 LSTM&#xff0c;全称为长短期记忆网络&#xff08;Long Short-Term Memory&#xff09;&#xff0c;是一种特殊的循环神经网络&#xff08;RNN&#xff09;结构&#xff0c;由Sepp Hochreiter和Jrgen Schmidhuber在1997年提出。它的设计初衷是为了克服传统RNN在处理…

tmega128单片机控制的智能小车设计

第1章 绪论1.1 选题背景和意义 自第一台工业机器人诞生以来,机器人的民展已经遍及机械、电子、冶金、交通、宇航、国防等领域。近年来机器人的智能水平不断提高,并且迅速地改变着人们的生活方式。人们在不断探讨、改造、认识自然的过程中,制造能替代人工作的机器一…

等保测评考试初级题大题部分

主机安全问答&#xff1a; 在主机安全测评前期调研活动中&#xff0c;收集信息的内容&#xff08;至少写出六项&#xff09;&#xff1f; 在选择主机测评对象时应该注意哪些要点&#xff1f; 主机安全回答&#xff1a; 至少需要收集服务器主机的设备名称、型号、所属网络区…

Linux常用基本命令-操作

目录 一、shell 1、什么是shell 二、Linux基本的命令分类 1、内部命令和外部命令 2、查看内部命令 2.1、help命令 2.2、enable 命令 2.3、type命令 2.4、whereis命令 2.5、which 命令 2.6、hash缓存 ​编辑 三、Linux常用命令 1、Linux命令格式 2、编辑Linux命…

服务端渲染 SSR 原理和实现

文章目录 CSR 优缺点SSRServer Client 同构Hydrate 水合&#xff08;客户端激活&#xff09;数据的获取和初始化预加载资源避免应用单例避免全局副作用代码 CSR 优缺点 优点 整个网站打包进 JavaScript 里&#xff0c;当 JavaScript 下载完毕后&#xff0c;相当于网站的页面…

技术流 | ClickHouse工具ckman v3.1.3 sinker v3.1.8 版本发布

【本文作者&#xff1a;擎创科技 ClickHouse专家&#xff0c;ckman作者禹鼎侯】 在这个端午小长假里&#xff0c;ckman和clickhouse_sinker分别带来了全新的版本。让我们一起来看看&#xff0c;新版本都有哪些新特性吧&#xff01; ckman v3.1.3新版本特性 ckman v3.1.3作为…

磁盘挂载lvm

新拿到一个主机,挂载磁盘,但是之前实在是没做过,这里也算是学了点东西,挂载分pv vg lv这些,这里第一个坑就是直接挂载这个后续没办法扩容,如果挂载的盘上装的数据库那就惨了,只能把数据迁移走再扩容了,下面是可扩容的操作建议全部按下面的步骤来。 查看磁盘 vdb盘就是…

加强设备管理:信息系统与日常运维的深度融合

在当今这个信息化高速发展的时代&#xff0c;企业信息系统的稳定运行至关重要。设备作为信息系统的硬件基础&#xff0c;其性能和健康状况直接影响到整个信息系统的可靠性和效率。因此&#xff0c;加强设备管理&#xff0c;将各信息系统和日常运维工作紧密结合&#xff0c;定期…

3D场景的交互设计有什么软件吗?

需求&#xff1a;类似于游戏那样在3D房间内&#xff0c;能通过鼠标或键盘操作在房间里自由行走。 对于3D场景的交互设计&#xff0c;尤其是像设计一间房间并允许用户在其中自由行走这样的需求&#xff0c;以下几款软件应该会适合&#xff1a; 1、博维数孪&#xff1a;专业从事…

Rust在前端领域有哪些应用?

​ 随着技术的飞速发展&#xff0c;编程语言的选择对项目的影响日益重要。Rust作为一种新兴的编程语言&#xff0c;以其独特的性能和安全性优势&#xff0c;开始在前端领域崭露头角。 1. 高性能的WebAssembly&#xff1a;Rust可以编译成WebAssembly&#xff0c;这是一种可以在…

另辟蹊径的终端防病毒

在数字时代的浪潮中&#xff0c;网络安全问题愈发凸显&#xff0c;防病毒成为了保护信息安全的重要一环。而白名单作为一种有效的安全策略&#xff0c;在防病毒方面发挥着不可或缺的作用。 首先&#xff0c;我们需要明确白名单的概念。白名单是一种管理和安全实践&#xff0c;用…

ROS——自定义话题消息和使用方法

定义Person话题 定义Person发布者 /*** 该例程将发布/person_info话题&#xff0c;自定义消息类型&#xff1a; test_topic::Person*/#include <ros/ros.h> #include <test_topic/Person.h> //包含的头文件&#xff0c;ros相关的头文件&#xff0c;及自定义头文件…

Vue25-内置指令02:v-text指令

一、v-html对比v-text v-html支持结构的解析&#xff0c;v-text不支持结构的解析。 二、v-html的安全性问题 2-1、cookie的原理&#xff08;node.js&#xff09; 7天免登录&#xff0c;cookie实现。 cookie的本质就是类似于json的字符串&#xff0c;格式是&#xff1a;key-va…