移动云以深度融合之服务，令“大”智慧贯穿云端

移动云助力大模型，开拓创新领未来。

云计算——AI模型的推动器。

当前人工智能技术发展的现状和趋势，以及中国在人工智能领域的发展策略和成就。确实，以 ChatGPT 为代表的大型语言模型在自然语言处理、文本生成、对话系统等领域取得了显著的成果，并且正在逐步改变我们的工作和生活方式。
由于政府部门的大力支持和企业的积极投资，人工智能产业得到了迅速发展。大型模型训练和部署需要巨大的计算资源和存储空间，以及相应的技术支持，这对许多企业来说是一个挑战。云计算平台提供了解决这一问题的方案，它允许企业通过按需购买服务的方式来使用计算资源，而无需自行建设和维护昂贵的硬件基础设施。
中国移动云和九天人工智能的合作，展示了中国在人工智能领域的创新和进步。通过构建智能计算基础设施，提供高效的智能化算力服务，中国正在推动从数字化到数智化的转变，这将有助于提升国家的竞争力。
此外，中国还在人工智能的关键技术领域进行突破，比如算网大脑的构建，这将进一步提升人工智能模型的性能和应用效率。通过这些努力，中国有望在未来的人工智能领域继续保持领先地位。
在这里插入图片描述

架构创新，改变云计算服务供给模式

移动云通过推出COCA（Compute on chip Architecture）软硬一体片上计算架构，正在重塑云计算服务供给模式，这一架构的发布标志着移动云在算力服务模式创新方面迈出了重要一步。COCA架构的三大核心单元——GPU、DPU、HPN，结合自研可编程DPU、多元异构智能算力、高性能RDMA网络、Diskless存储架构引擎等技术，旨在构建高效的大模型算力基础设施。这种基础设施能够实现高性能算力集群的横向融合和垂直抽象，统一提供计算、存储、网络、安全、管控能力的硬件卸载加速。

通过COCA架构，移动云计划加速算力基础设施的建设，并为目标用户提供一体化的算力服务，这些服务将具有“融合、智能、无感、极简”的特点。这种服务模式不仅提供了强大的计算能力，还通过硬件卸载加速减少了资源浪费，提高了效率，使得用户能够更加专注于自己的业务需求，而不是基础的计算资源管理。这一创新有望在云计算领域引发新的变革，为企业和开发者提供更加高效、智能的算力支持。
对此感兴趣的伙伴可以尝试体验一下，下面将介绍如何在移动云上简单部署大模型。
在这里插入图片描述

移动云上部署大模型ChatGLM3-6b

前言

通过移动云，大语言模型可以在移动设备上得到更好的应用和发展。在部署后可以完全本地运行，后面将介绍移动云部署大模型的实际应用，介绍怎么通过移动云上在 Linux 服务器上部署 ChatGLM3 服务，并通过多种方式使用本地部署地大模型。

服务器准备

移动云服务器（试用申请网址）

  1. 进入官网页面后，进行实名认证，选择一个合适的云服务器。
    在这里插入图片描述

  2. 选择地区，以及服务器的型号与配置。
    在这里插入图片描述

  3. 网络配置（如果自己将要将自己的网站放在公网中时，需要先进行ICP备案。）以下操作将自己的网络地址配置到自己的云主机中。
    在这里插入图片描述

  4. 当前往支付完成后可以就得到一台Linux服务器。
    在这里插入图片描述
    在这里插入图片描述

  5. 进行密码修改
    在这里插入图片描述
    在这里插入图片描述

  6. 找到弹性公网IP，将系统默认给的公网IP分配给我们的云主机。
    在这里插入图片描述

  7. 远程登陆需要开放ssh端口（22）
    在这里插入图片描述

  8. 使用远程登陆软件，可以直接用vscode登陆，这里用xshell演示。
    在这里插入图片描述

环境准备

  1. 安装 Python 环境
    在Linux操作系统中，尽管通常会预装Python解释器，但其版本往往较低，可能不符合ChatGLM所需的最小Python版本要求（3.7及以上）。因此，在大多数情况下，用户需要部署一个符合要求的Python环境。然而，如果系统已经配备了满足条件的Python版本，则无需重复安装。
    尽管可以选择从源代码下载并编译安装Python，但为了简化安装过程，确保PyTorch等库的顺利安装，并避免对系统稳定性造成影响，推荐使用Anaconda发行版来安装Python环境。
# 下载 conda 安装包
wget https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh
# 安装 conda 注意安装过程中指定安装路径
bash Anaconda3-2023.03-1-Linux-x86_64.sh
# 配置软连接
ln -s /[your-install-path]/anaconda3/condabin/conda /usr/bin/conda
  1. 安装 Git LFS
    为了高效地从 Hugging Face Hub 上下载 ChatGLM 模型到本地，并提高加载模型的响应效率，推荐先安装 Git LFS（Large File Storage）。Git LFS 是一种适用于 Git 仓库的工具，它能够优化大文件的管理，使得文件传输更加高效。
sudo yum install git -y
git --version
sudo yum install git-lfs -y

模型安装

  1. 下载 ChatGLM3
    首先，请从 Github 下载 ChatGLM3 仓库，并在仓库目录下使用 pip 安装所需的依赖。
    根据官方推荐，为了获得最佳的推理性能，建议使用 transformers 库的 4.30.2 版本，以及 torch 2.0 或更高版本。
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
# conda 创建虚拟环境
conda create -n torch python=3.10
# 激活环境 # 退出环境 conda deactivate
conda activate torch
# 下载依赖包
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn
  1. 下载预训练模型
    下面我们用 Git LFS 从 Hugging Face Hub 将模型下载到本地，从本地加载模型响应速度更快。
git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b

如果从你从 HuggingFace 下载比较慢，也可以从 ModelScope 中下载！

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

模型使用

首先，将你从 THUDM/ChatGLM3-6b 下载的预训练模型文件保存在 ChatGLM3 仓库的适当目录中。如果你是通过 ModelScope 获取的模型，请确保目录结构正确，因为加载模型时可能需要调整本地的路径设置。
ChatGLM3 支持三种使用方式：命令行界面、网页版界面和 API 接口。在运行模型之前，你需要找到对应使用方式的 Python 源代码文件，即 cli_demo.py、web_demo.py 和 openai_api.py。在这些文件中，你需要修改一行代码，使其指向你的模型文件。

model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).cuda()

修改两个地方：（1）本地模型的存放路径 THUDM/chatglm3-6b；（2）根据自己的硬件环境参考 DEPLOYMENT.md 选择模型加载方式，float() CPU 部署，cuda() GPU 部署。

  1. 命令行版 cli_demo.py
    命令行启动方式，首先找到 ChatGLM3 目录下的 cli_demo.py 文件，修改代码如下：
    在这里插入图片描述

修改完成之后，到 ChatGLM3 目录下运行 python cli_demo.py 启动服务
程序会在命令行中进行交互式的对话，在命令行中通过 用户： 进行输入指示，直接输入问题回车即可生成回复，输入 clear 可以清空对话历史，输入 stop 终止程序。
在这里插入图片描述
2. 网页版 web_demo.py
网页版和命令行相似，但是提供了更加友好交互页面，找到 ChatGLM3 目录下的 web_demo.py 文件，做出相同的代码修改，

然后，到 ChatGLM3 目录下运行 python web_demo.py 启动服务
程序会运行一个 Web Server，并输出一个访问地址，在浏览器中打开输出的地址即可使用。
在这里插入图片描述
3. API 部署 openai_api.py
这个部分将结合 ChatGPT-Next-Web为例，使得ChatGLM3 实现了 OpenAI 格式的流式 API 部署，这使得ChatGLM3可以作为任意基于 ChatGPT 的应用的后端。
首先，到 https://github.com/Yidadaa/ChatGPT-Next-Web/releases 下载 ChatGPT-Next-Web，这个交互页面很轻量级。
然后，到 ChatGLM3 目录下找到 openai_api.py 源码文件，和上面方式一样，修改本地模型路径和部署方式，还有根据自己需要修改最后一行代码中定义的 Host 和 Port，这是 ChatGPT 应用的访问 URL。
在这里插入图片描述

接着，在仓库目录下执行 python openai_api.py 启动模型服务
在这里插入图片描述

然后将日志打印出的接口地址 http://localhost:8000/ 写入 ChatGPT-Next-Web 的设置中，并添加自定义模型 chatglm3
在这里插入图片描述
完成设置之后，API部署就完成了。
在这里插入图片描述

结束语

了解更多移动云产品请移步官网移动云官网

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/16096.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

项目管理:敏捷实践框架

项目管理:敏捷实践框架

一、初识敏捷 什么是敏捷(Agile)?敏捷是思维方式。 传统开发模型 央企，国企50%-60%需求分析。整体是由文档控制的过程管理。 传统软件开发面临的问题： 交付周期长：3-6个月甚至更长沟通效果差：文档化沟通不及时按时发布低：技术债增多无法发版团队士气弱：死亡行军不关注…
阅读更多...
Vmware 17安装 CentOS9

Vmware 17安装 CentOS9

前言 1、提前下载好需要的CentOS9镜像，下载地址，这里下载的是x86_64 2、提前安装好vmware 17，下载地址 ，需要登录才能下载 安装 1、创建新的虚拟机 2、在弹出的界面中选择对应的类型，我这里选择自定义，点…
阅读更多...
python command乱码怎么解决

python command乱码怎么解决

python command乱码怎么解决？具体方法如下： 先引入import sys 再加一句：typesys.getfilesystemencoding() 然后在输出乱码的数据的后面加上“.decode(utf-8).encode(type)”。 比如输入“ss”乱码。 就写成print ss.decode(utf-8).encode(typ…
阅读更多...
【话题】AIGC行业现在适合进入吗

【话题】AIGC行业现在适合进入吗

大家好，我是全栈小5，欢迎阅读小5的系列文章，这是《话题》系列文章 目录 引言AIGC的发展阶段市场需求时机是否合适优势挑战 文章推荐 引言 在撰写关于当前是否适合进入AIGC（人工智能生成内容）行业的文章之前&#xff0…
阅读更多...
从零实现Llama3中文版

从零实现Llama3中文版

1.前言 一个月前，Meta 发布了开源大模型 llama3 系列，在多个关键基准测试中优于业界 SOTA 模型，并在代码生成任务上全面领先。 此后，开发者们便开始了本地部署和实现，比如 llama3 的中文实现、llama3 的纯 NumPy 实现…
阅读更多...
数据结构——链式二叉树知识点以及链式二叉树数据操作函数详解！！

数据结构——链式二叉树知识点以及链式二叉树数据操作函数详解！！

引言：该博客将会详细的讲解二叉树的三种遍历方法：前序、中序、后序，也同时会讲到关于二叉树的数据操作函数。值得一提的是，这些函数几乎都是建立在一个函数思想——递归之上的。这次的代码其实写起来十分简单，用不了几…
阅读更多...
告别红色波浪线：tsconfig.json 配置详解

告别红色波浪线：tsconfig.json 配置详解

使用PC端的朋友，请将页面缩小到最小比例，阅读最佳！ tsconfig.json 文件用于配置 TypeScript 项目的编译选项。如果配不对，就会在项目中显示一波又一波的红色波浪线，警告你这些地方的类型声明存在问题。 一般我们遇到这…
阅读更多...
在没有dubbo-admin情况下如何判断zk中注册的dubbo服务是否注册成功

在没有dubbo-admin情况下如何判断zk中注册的dubbo服务是否注册成功

通常我们都是通过dubbo-admin来查看dubbo服务是否注册成功，那么如果没有部署dubbo-admind的情况下，我们如何来判断dubbo服务是否注册成功： 一、首先我们进入到zookeeper bin目录下使用以下指令连接到zk: ./zkCli.sh -server ip:port ip&…
阅读更多...
Linux文件系统原理

Linux文件系统原理

Linux文件系统 冯诺依曼在1945年提出计算机的五大组成部分 运算器：CPU 控制器：CPU 存储器：内存和硬盘 输入设备：鼠标、硬盘 输出设备：显示器一、硬盘结构 机械硬盘结构 扇区：硬盘的最小存储单位&#xff…
阅读更多...
IOT技术怎么落地?以宝马,施耐德为例

IOT技术怎么落地?以宝马,施耐德为例

物联网技术 物联网（IoT）技术正逐渐成为数字化工厂转型的核心驱动力。本文将通过实际案例，探讨IoT技术如何促进制造业的数字化转型，提高生产效率，降低成本，并提升产品质量。 1. 物联网技术简介 物联网技术通…
阅读更多...
MySQL数据库基础：使用、架构、SQL语句、存储引擎

MySQL数据库基础：使用、架构、SQL语句、存储引擎

文章目录 什么是数据库CS模式 基本使用安装链接服务器服务器、数据库、表关系简单使用数据库在Linux下的体现 MySQL架构连接器层客户端层服务层存储引擎层物理存储层 SQL分类存储引擎 什么是数据库 mysql：数据库服务的客户端mysqld：数据库服务的服务器端…
阅读更多...
PLC_博图系列☞R_TRIG：检测信号上升沿

PLC_博图系列☞R_TRIG：检测信号上升沿

PLC_博图系列☞R_TRIG：检测信号上升沿 文章目录 PLC_博图系列☞R_TRIG：检测信号上升沿背景介绍R_TRIG： 检测信号上升沿说明参数示例 关键字： PLC、 西门子、 博图、 Siemens 、 R_TRIG 背景介绍 这是一篇关于PLC编程的文章&a…
阅读更多...
[ C++ ] 类和对象( 中 ) 2

[ C++ ] 类和对象( 中 ) 2

目录 前置和后置重载 运算符重载和函数重载 流插入流提取的重载 全局函数访问类私有变量 友员 const成员 取地址及const取地址操作符重载 前置和后置重载 运算符重载和函数重载 流插入流提取的重载 重载成成员函数会出现顺序不同的情况（函数重载形参顺序必须相…
阅读更多...
数据结构（五）树与二叉树

数据结构（五）树与二叉树

2024年5月26日一稿（王道P142） 基本概念 术语 性质 二叉树 5.2.2 二叉树存储结构
阅读更多...
嵌入式进阶——数码管2

嵌入式进阶——数码管2

🎬 秋野酱：《个人主页》 🔥 个人专栏:《Java专栏》《Python专栏》 ⛺️心若有所向往,何惧道阻且长 文章目录 驱动封装封装的一些疑问数字走马灯实现扩展知识 驱动封装 根据前面的内容可以将代码进行封装，封装后作为一个独立的整…
阅读更多...
贪心题目总结

贪心题目总结

1. 最长递增子序列 我们来看一下我们的贪心策略体现在哪里？？？ 我们来总结一下： 我们在考虑最长递增子序列的长度的时候，其实并不关心这个序列长什么样子,我们只是关心最后一个元素是谁。这样新来一个元素之后&#xf…
阅读更多...
【Week-R1】RNN实现心脏病预测，基于tensorflow框架

【Week-R1】RNN实现心脏病预测，基于tensorflow框架

文章目录 一、什么是RNN？二、准备环境和数据2.1 导入数据 三、构建模型四、训练和预测五、其他（1）sklearn模块导入报错：ModuleNotFoundError: No module named sklearn（2）优化器改为SGD，accurac…
阅读更多...
Linux系统之GoAccess实时Web日志分析工具的基本使用

Linux系统之GoAccess实时Web日志分析工具的基本使用

Linux系统之GoAccess实时Web日志分析工具的基本使用 一、GoAccess介绍1.1 GoAccess简介1.2 GoAccess功能1.3 Web日志格式 二、本地环境介绍2.1 本地环境规划2.2 本次实践介绍 三、检查本地环境3.1 检查本地操作系统版本3.2 检查系统内核版本3.3 检查系统镜像源3.4 更新软件列表…
阅读更多...
JavaFX安装与使用

JavaFX安装与使用

前言 最近学习了javafx,开始时在配置环境和导包时遇到了一些麻烦,关于网上很多方法都尝试过了,现在问题都解决了,和大家分享一下我是怎么实现javafx的配置,希望大家可以通过这个方法实现自己的环境配置! 🙈个人主页: 心.c 🔥文章专题:javafx &#x1f49…
阅读更多...
计算机网络-Traffic-Filter流量过滤策略

计算机网络-Traffic-Filter流量过滤策略

一、概述 为提高网络安全性，管理人员需要控制进入网络的流量，将不信任的报文丢弃在网络边界。所谓的不信任报文是指对用户来说存在安全隐患或者不愿意接收的报文。同时保证数据访问安全性，企业网络中经常会要求一些部门之间不能相互访问。 背…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023