Azure 机器学习:在 Azure 机器学习中使用 Azure OpenAI 模型

目录

    • 一、环境准备
    • 二、Azure 机器学习中的 OpenAI 模型是什么?
    • 三、在机器学习中访问 Azure OpenAI 模型
      • 连接到 Azure OpenAI
      • 部署 Azure OpenAI 模型
    • 四、使用自己的训练数据微调 Azure OpenAI 模型
      • 使用工作室微调
      • 微调设置
        • 训练数据
        • 自定义微调参数
        • 部署微调的模型
      • 使用基于代码的示例微调
      • 疑难解答

在本文中,你将了解如何使用 Azure 机器学习发现、微调和大规模部署 Azure OpenAI 模型。

关注TechLead,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,复旦机器人智能实验室成员,阿里云认证的资深架构师,项目管理专业人士,上亿营收AI产品研发负责人。

file

一、环境准备

  • 必须有权访问 Azure OpenAI 服务。
  • 必须位于 Azure OpenAI 支持的区域

二、Azure 机器学习中的 OpenAI 模型是什么?

近年来,人工智能的进步导致了大型基础模型(基于大量数据进行训练)的兴起。 这些模型可以轻松适应各行各业的多种应用程序。 这一新兴趋势为企业在深度学习工作负载中构建和使用这些基础模型提供了独特的机会。

机器学习中的 OpenAI 模型提供机器学习原生功能,使客户可以通过以下方式大规模生成和使用 Azure OpenAI 模型:

  • 在机器学习中访问机器学习模型目录中提供的 Azure OpenAI。
  • 与 Azure OpenAI 建立连接。
  • 使用机器学习微调 Azure OpenAI 模型。
  • 使用机器学习将 Azure OpenAI 模型部署到 Azure OpenAI。

三、在机器学习中访问 Azure OpenAI 模型

file
Azure 机器学习工作室中的模型目录(预览)是浏览各种基础模型集合的起点。 Azure OpenAI 模型集合包含仅在 Azure 上提供的模型。 使用这些模型,客户将能够访问适用于 Azure OpenAI 中提供的大型语言模型的即时工程、微调、评估和部署功能。 可以在 Azure OpenAI 服务集合下的模型目录中查看受支持的 Azure OpenAI 模型的完整列表。

file

可以按推理任务或微调任务筛选模型目录中的模型列表。 选择特定的模型名称后,将会显示所选模型的模型卡,其中列出了有关该模型的详细信息。

file

连接到 Azure OpenAI

若要部署 Azure OpenAI 模型,需要具有 Azure OpenAI 资源。 若要创建 Azure OpenAI 资源,请按照创建和部署 Azure OpenAI 服务资源中的说明进行操作。

部署 Azure OpenAI 模型

若要从机器学习部署 Azure OpenAI 模型,请执行以下操作:

  1. 在左窗格中选择“模型目录”。

  2. Azure OpenAI 语言模型下选择“查看模型”。 然后选择要部署的模型。

  3. 选择“部署”,将模型部署到 Azure OpenAI。

file

  1. 从选项中选择“Azure OpenAI 资源”。

  2. 在“部署名称”中输入部署名称,然后选择“部署”。

  3. 若要查找部署到 Azure OpenAI 的模型,请转到工作区中的“终结点”部分。

  4. 选择“Azure OpenAI”选项卡,并查找创建的部署。 在选择部署时,系统会将你重定向到已链接到部署的 OpenAI 资源。

四、使用自己的训练数据微调 Azure OpenAI 模型

file
若要提高工作负载中的模型性能,可能需要使用自己的训练数据微调模型。 通过使用工作室中的微调设置或使用本教程中基于代码的示例,可以轻松微调这些模型。

使用工作室微调

若要调用微调设置窗体,请在任何基础模型的模型卡上选择微调

微调设置

file

训练数据
  1. 传入要用于微调模型的训练数据。 可以选择上传 JSON 行 (JSONL) 格式的本地文件。 也可以从工作区中选择现有的已注册数据集。

    • 具有完成任务类型的模型:使用的训练和验证数据必须采用 JSON 文档格式,其中每一行代表一个提示-完成对。

file

  • 具有聊天任务类型的模型:数据集中的每一行都应是 JSON 对象列表。 每一行对应于一个对话。 行中的每个对象都是对话中的一个轮次或语句。

file

  • 验证数据:传入要用于验证模型的数据。
  1. 在微调窗体中选择“完成”以提交微调作业。 作业完成后,可以查看已微调模型的评估指标。 然后,可以将此经过微调的模型部署到终结点以进行推理。
自定义微调参数

如果要自定义微调参数,可以在微调向导中选择“自定义”,以配置批大小、纪元数和学习速率乘数。 其中每个设置都具有默认值,但如果需要,可以通过基于代码的示例进行自定义。

file

部署微调的模型

若要从机器学习运行经过微调的模型作业以部署 Azure OpenAI 模型,请执行以下操作:

  1. 完成 Azure OpenAI 模型的微调后,在“模型”列表中找到微调期间提供的名称的已注册模型,然后选择要部署的模型。
  2. 选择“部署”并为部署命名。 模型将会部署到链接到工作区的默认 Azure OpenAI 资源。

使用基于代码的示例微调

为了支持用户快速开始使用基于代码的微调,我们已面向 azureml-examples GitHub 存储库发布示例(包括 Python 笔记本和 Azure CLI 示例):

  • SDK 示例
  • CLI 示例

疑难解答

下面是一些步骤,可帮助你解决机器学习中 Azure OpenAI 的以下任何问题。

在尝试部署 Azure OpenAI 模型时,可能会遇到以下任何错误。

  • 每个模型名称和版本只能进行一个部署

    • 修复:转到 Azure OpenAI Studio 并删除尝试部署的模型的部署。
  • 未能创建部署

    • 修复:无法创建 Azure OpenAI。 此错误这是由于配额问题造成的。 请确保具有足够的配额可用于部署。 微调模型的默认配额是每个客户 2 个部署。
  • 未能获取 Azure OpenAI 资源

    • 修复:无法创建资源。 你不在正确的区域中,或者已超出三个 Azure OpenAI 资源的最大限制。 需要删除现有的 Azure OpenAI 资源,或者需要确保在受支持区域之一中创建了工作区。
  • 模型不可部署

    • 修复:此错误通常发生在尝试部署 GPT-4 模型时。 由于需求较高,需要[申请访问权限才能使用 GPT-4 模型]。
  • 微调作业失败

    • 修复:目前,对于新的微调模型,只能为特定订阅指定最多 10 个工作区。 如果用户创建更多工作区,尽管可以获得模型访问权限,但他们的作业将失败。 尝试将每个订阅的工作区数限制为 10。

关注TechLead,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,复旦机器人智能实验室成员,阿里云认证的资深架构师,项目管理专业人士,上亿营收AI产品研发负责人。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/142343.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python---集合中的交集 、并集 | 与差集 - 特性

用 & 来求两个集合的交集:-----键盘上的7上的符号,shift 7 同时按 用 | 来求两个集合的并集: -----键盘上的7上的符号,shift 同时按(就是enter键上面那个|\ ) 用 - 来求两个集合的差集&#xff…

linux查看端口被哪个进程占用

linux查看端口被哪个进程占用 1、lsof -i:端口号 sudo lsof -i :22 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME sshd 661 root 3u IPv4 13882 0t0 TCP *:ssh (LISTEN) sshd 661 root 4u IPv6 13893 0t0 TCP *:ssh (LISTEN) ssh…

mysql核心知识整理

目录 聚簇索引与非聚簇索引; 聚簇索引:找到了索引就找到了需要的数据,那么这个索引就是聚簇索引,所以主键就是聚簇索引,修改聚簇索引其实就是修改主键。 非聚簇索引:索引的存储和数据的存储是分离的&#…

抖斗音_快块手直播间获客助手+采集脚本+引流软件功能介绍

软件功能: 支持同时采集多个直播间,弹幕,关*注,礼*物,进直播间,部分用户手*号,粉*丝团采集 不支持采集匿*名直播间 设备需求: 电脑(win10系统) 文章分享者&#xff1…

Kerberos认证系统

文章目录 前提知识原理第一次对话第二次对话第三次对话 总结发现 前提知识 KDC:由AS、TGS,还有一个Kerberos Database组成。 Kerberos Database用来存储用户的密码或者其他所有信息,请求的时候需要到数据库中查找。 AS:为客户端提…

WebSphere Liberty 8.5.5.9 (三)

WebSphere Liberty 8.5.5.9 将资源先下载,后期本地安装 下载 passwordUtilities-1.0 D:\wlp-webProfile7-java8-8.5.5.9\wlp\bin>installUtility find password 正在建立与已配置存储库的连接... 此过程可能要花几分钟完成。已成功连接至所有已配置的存储库。…

Python爬虫抓取微博数据及热度预测

首先我们需要安装 requests 和 BeautifulSoup 库,可以使用以下命令进行安装: pip install requests pip install beautifulsoup4然后,我们需要导入 requests 和 BeautifulSoup 库: import requests from bs4 import BeautifulSou…

No203.精选前端面试题,享受每天的挑战和学习

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云课上架的前后端实战课程《Vue.js 和 Egg.js 开发企业级健康管理项目》、《带你从入…

MySQL MHA高可用切换

MySQL MHA 1.什么是 MHA MHA(MasterHigh Availability)是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。 MHA 的出现就是解决MySQL 单点的问题。 MySQL故障切换过程中,MHA能做到0-30秒内自动完成故障切换操作。 MHA能在…

四、Vue3中使用Pinia解构Store

<template><div>pinia原始值: {{ Test.current }} --- {{ Test.name }}<button click"change">change</button></div><hr /><div>解构后值: {{ current }} --- {{ name }}<button click"change">change&l…

2311rust对接C

原文 为了与其他语言通信,Rust提供了(FFI)外部函数接口.FFI是Rust和C间的函数调用,与C函数调用有相同性能的零成本抽象. FFI绑定还可利用(如所有权和借用)语言功能来提供强制指针和其他资源协议的安全接口. Rust与C对话 从Rust调用C代码的简单示例开始.如下为C代码: int do…

spark调优案例分享

做了一个Spark调优案例的分享 最近在整理了Spark相关的调优案例&#xff0c;并做了以下分享:spark调优案例 &#xff0c;注意是Mac Keynote

Unity 下载Zip压缩文件并且解压缩

1、Unity下载Zip压缩文件主要使用UnityWebRequest类。 可以参考以下方法&#xff1a; webRequest UnityWebRequest.Get(Path1); //压缩文件路径webRequest.timeout 60;webRequest.downloadHandler new DownloadHandlerBuffer();long fileSize GetLocalFileSize(Path2); …

小H靶场学习笔记:DC-2

DC-2 Created: November 10, 2023 3:01 PM Tags: WordPress, git提权, rbash逃逸 Owner: 只会摸鱼 靶场过程 信息收集 扫描存活主机&#xff0c;找到靶机ip&#xff1a;192.168.199.131&#xff08;本机是192.168.199.129&#xff09; 扫描端口开放协议 发现有80端口和77…

支持向量机基本原理,Libsvm工具箱详细介绍,基于支持向量机SVM的人脸朝向识别

目录 支持向量机SVM的详细原理 SVM的定义 SVM理论 Libsvm工具箱详解 简介 参数说明 易错及常见问题 完整代码和数据下载链接: 基于支持向量机SVM人脸朝向识别(代码完整,数据齐全)资源-CSDN文库 https://download.csdn.net/download/abc991835105/88527821 SVM应用实例, 基…

2023nacos源码解读第3集——nacos-client核心功能之微服务调用和配置管理测试

文章目录 1、测试项目2、项目注意事项3、 测试核心功能3.1 测试服务调用与负载均衡3.2 测试配置监听 4、参考文档 1、测试项目 项目地址 nacos-service-a nacos-service-b 2、项目注意事项 项目初始化可以使用aliyun spring initializer ,以更方便的使用springcloud alibaba…

hive里因为列名用了关键字导致建表失败

代码 现象 ParseException line 6:4 cannot recognize input near percent String COMMENT in column name or primary key or foreign key 23/11/13 11:52:57 ERROR org.apache.hadoop.hive.ql.Driver: FAILED: ParseException line 6:4 cannot recognize input near percent …

oracle 不支持的字符集 orai18n.jar ZHS16GBK 异常问题解决

项目场景&#xff1a; 项目中有使用到oracle数据库来存在数据。 问题描述 在使用查询语句是&#xff0c;oracle会报错。 java.sql.SQLException: 不支持的字符集 (在类路径中添加 orai18n.jar): ZHS16GBK 原因分析&#xff1a; 经排查发现缺少oracle字符集的依赖包导致的。…

雷达测角原理、测角精度、测角分辨率以及3DFFT角度估计算法汇总

1.角度测量方法 依据&#xff1a;电磁波的直线传播和雷达天线的方向性。 分类&#xff1a;振幅法测角、相位法测角 1.1 相位法测角 相位法测角利用多个天线所接收回波信号之间的相位差进行测角。如下图所示&#xff1b; 图 1 设在θ方向有一远区目标&#xff0c;则到达接收点…

一个破单机,也要用远程缓存?

大家好&#xff0c;豆小匠终于开始Coding了&#xff0c;这期来聊聊实战相关的杂谈。 正文开始&#xff01; 作为编程萌新的时候&#xff0c;总想着把程序做复杂&#xff0c;堆技术栈。 但是程序是为场景服务的&#xff0c;比如&#xff0c;我想提高接口的响应速度&#xff0c…