【千帆平台】使用千帆大模型平台创建自定义模型调用API，贺岁灵感模型，文本对话

欢迎来到《小5讲堂》
大家好，我是全栈小5。
这是《千帆平台》系列文章，每篇文章将以博主理解的角度展开讲解，
特别是针对知识点的概念进行叙说，大部分文章将会对这些概念进行实际例子验证，以此达到加深对知识点的理解和掌握。
温馨提示：博主能力有限，理解水平有限，若有不对之处望指正！

在这里插入图片描述

千帆大模型平台

千帆大模型平台是百度AI开发的一站式大模型开发及服务运行平台，面向企业开发者。
该平台集成了多种大模型，包括语言模型、图像模型、语音模型和跨模态模型等，并提供了包括文心一言底层模型(ERNIE-Bot)和第三方开源大模型。
此外，千帆还提供了各种AI开发工具和整套开发环境，以及丰富的API和SDK，支持多种开发语言和框架，方便客户轻松使用和开发大模型应用。

千帆大模型平台致力于支持数据管理、自动化模型SFT以及推理服务云端部署的一站式大模型定制服务，以满足各行业的生成式AI应用需求。
面向不同的企业需求，千帆提供不同的功能服务，从而帮助企业快速构建AI应用，提升业务效率和创新能力。

基本结构图

大概的思路就是，自定义服务》我的模型》训练任务》数据集
千帆大模型平台，本身提供很多服务和模型，直接使用即可，本篇文章将在【ERNIE-Speed】模型基础上创建自定义模型。
在这里插入图片描述

我的数据集

准备自己的数据集，要求100条以上的数据

提示词

prompt提示词，一般只有一个提示词，如下：
假如你是软件工程师，请给团队成员发送一段技术鼓励风格的40字春节祝福。

响应文本

response参考响应文本，可以有多个参考
在代码与算法的世界里迎接新春，愿你们的bug少，成就多，工作顺利，生活幸福，鼠标点击间带来无限可能。春节快乐！

整体格式

因为响应参考是可以多个，所以response是一个数组

[{"prompt": "", "response": [[""]]}]

自定义数据

提供尽量多相关的数据，因此高质量的提示词还是比较有价值的

[{"prompt": "假如你是软件工程师，请给团队成员发送一段技术鼓励风格的40字春节祝福。", "response": [["在代码与算法的世界里迎接新春，愿你们的bug少，成就多，工作顺利，生活幸福，鼠标点击间带来无限可能。春节快乐！"]]}]
[{"prompt": "请以舞龙舞狮题目，写一首五言律诗", "response": [["节日喜庆展威风，舞龙舞狮热闹中。彩旗迎风翻翻舞，鼓声震耳壮气盛。万众欢呼喜气浓。"]]}]

上传数据集

平台提供多种格式文件进行上传
在这里插入图片描述

模型精调

在上一步准备好自己的数据集后，接着就是进行模型精调，这里采用SFT进行训练任务。
利用准备好的训练数据及平台提供的预训练大模型，训练自己的大模型，训练任务是需要收费的，100条数据大概也就几块钱，根据自己情况进行训练。
博主这里的100条数据集，训练任务完成大概要20分钟。
在这里插入图片描述

我的模型

上传了数据集，并对数据集进行训练和完成后，就可以创建自己的大模型了。
选择模型训练方式，博主这里是选了SFT，模型配置就是选择对应自己训练好的任务在这里插入图片描述

在线服务

上一步骤完成创建自己的模型后，就可以创建自己的模型服务，创建服务会自定部署且需要费用，相对比较高一点，350元/天。
主要操作就是，选择自己的模型，并设置自己模型服务的API地址，默认前缀是一样，需要自定义自己API地址在这里插入图片描述
比如博主的API地址：https://xxx/my_service

应用接入

创建应用，目的是拿到API Key和Secret Key，通过这两个参数又可以拿到Access Token值。
access_token默认有效期30天，单位是秒，生产环境注意及时刷新。

API鉴权

地址：https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Ilkkrb0i5

示例代码

点击跳转地址

Python

import requests
import jsondef main():url = "https://aip.baidubce.com/oauth/2.0/token?client_id=[创建应用的API Key]&client_secret=[创建应用的
Secret Key]&grant_type=client_credentials"payload = json.dumps("")headers = {'Content-Type': 'application/json','Accept': 'application/json'}response = requests.request("POST", url, headers=headers, data=payload)print(response.text)if __name__ == '__main__':main()

using System;
using System.IO;
using RestSharp;//依赖版本106.15.0 https://www.nuget.org/packages/RestSharp/106.15.0
namespace SampleApplication {public class Sample {public static void Main(string[] args) {var client = new RestClient($"https://aip.baidubce.com/oauth/2.0/token?client_id=[创建应用的API Key]&client_secret=[创建应用的
Secret Key]&grant_type=client_credentials");client.Timeout = -1;var request = new RestRequest(Method.POST);request.AddHeader("Content-Type", "application/json");request.AddHeader("Accept", "application/json");var body = @"";request.AddParameter("application/json", body,  ParameterType.RequestBody);IRestResponse response = client.Execute(request);Console.WriteLine(response.Content);}}
}

调用API接口

在上一步骤拿到AT后，就可以调用自定义模型API，
点击跳转示例地址：https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Klmhcyeej

效果

在这里插入图片描述

代码

import requests
import jsondef get_access_token():"""使用 API Key，Secret Key 获取access_token，替换下列示例中的应用API Key、应用Secret Key"""url = "https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[应用API Key]&client_secret=[应用Secret Key]"payload = json.dumps("")headers = {'Content-Type': 'application/json','Accept': 'application/json'}response = requests.request("POST", url, headers=headers, data=payload)return response.json().get("access_token")def main():"""替换下列示例中的申请发布时填写的API名称"""url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[申请发布时填写的API名称]?access_token=" + get_access_token()payload = json.dumps({"messages": [{"role": "user","content": "假如你是软件工程师，请给团队成员发送一段技术鼓励风格的40字春节祝福。"}]})headers = {'Content-Type': 'application/json'}response = requests.request("POST", url, headers=headers, data=payload)print(response.text)if __name__ == '__main__':main()