百度智能云千帆大模型平台再升级,SDK版本开源发布!

SDK

  • 前言
  • 一、SDK的优势
  • 二、千帆SDK:快速落地LLM应用
  • 三、如何快速上手千帆SDK
    • 1、SDK快速启动
      • 快速安装
      • 平台鉴权
      • 如何获取AK/SK
      • 以“Chat 对话”为调用示例
    • 2. SDK进阶指引
    • 3. 通过Langchain接入千帆SDK
      • 为什么选择Langchain
  • 开源社区

前言

百度智能云千帆大模型平台再次升级!在原有API基础上,百度智能云正式上线Python SDK(下文均简称千帆
SDK)版本并全面开源,企业和开发者可免费下载使用!千帆SDK全面覆盖从数据集管理,模型训练,模型评估,到服务部署等方面的功能,我们可基于千帆SDK通过代码接入并调用百度智能云千帆大模型平台的能力,轻松实现LLMOps全流程的落地,快速构建自己的大语言模型应用。

一、SDK的优势

SDK当前主要的价值在于可快速使用API能力,并完善API使用的周边工具链,同时提供cookbook用于实践。

  1. 快速使用API能力,不需要自己实现http客户端以及鉴权逻辑;并在此基础上做了可配置重试,流量控制,提升了API功能的使用体验。

  2. 结合实际的案例和应用场景提供了响应的cookbook,帮助我们快速上手,甚至复用大部分已实现代码。

  3. 拓展了LLM应用的基础能力,例如结合LLM应用层常见的Agent等概念进行了封装,提供了基于Agent的应用模板类。

二、千帆SDK:快速落地LLM应用

千帆SDK支持对话补全、续写补全、语义向量、插件、文生图等一系列功能,可以帮助我们轻松完成应用开发。

  • 对话补全(ChatCompletion):对话模型是语言模型的一种变体。虽然在内部使用了语言模型,但它们所提供的接口有些不同。适用于对话生成,智能问答等场景。

  • 续写补全(Completion):语言模型提供了基本的续写能力,结合丰富的训练语料,非常适合于文档报告编写,内容创作等场景。

  • 语义向量(Embedding):百度智能云千帆大模型平台在提供大模型对话续写能力的同时,应对于常见的文本检索,知识库查询等场景,也推出了文本转化成向量的能力。

  • 插件应用(Plugin):为了填补大模型对于获取实时信息,多模态,垂直领域知识问答等场景的能力空白,百度智能云千帆大模型平台推出了常用的几种插件应用,包括百度搜索,知识库,天气查询,智慧图问等几个插件应用。我们可以通过大模型的决策能力进行问答文本到插件应用调用的转化,也可以直接调用插件应用以获取相应的数据。

  • 文生图(Text2Image):基于开源的StableDiffusion等开源多模态大模型的基础上,百度智能云千帆大模型平台推出了一系列预置的文生图模型,我们也可以通过SDK快速调用,进行图文创作。

三、如何快速上手千帆SDK

百度智能云千帆大模型平台为我们提供了详细的操作手册,包括SDK快速启动、大模型开发基础功能快速入门和Langchain接入方法,我们可通过以下步骤更加快速的使用千帆SDK。

1、SDK快速启动

在该模块,我们通过必要快速上手步骤,以及以Chat对话为调用示例,介绍了如何快速进入LLM的应用开发。

快速安装

目前千帆SDK已发布到PyPI,我们可使用pip命令进行安装。安装千帆SDK需要3.7.0或更高的Python版本。

平台鉴权

千帆SDK基于百度智能云千帆大模型平台对我们客户提供能力,因此在使用前需要我们客户使用平台指定的鉴权方式进行初始化。

如何获取AK/SK

我们可首先进行应用接入,获得AK/SK。
获取到AK和SK后,我们还需要传递它们来初始化千帆SDK,支持如下两种方式,按优先级从低到高排序:

以“Chat 对话”为调用示例

我们只需要提供预期使用的模型名称和对话内容,即可调用百度智能云千帆大模型平台支持的包括ERNIE-Bot在内的所有预置模型,如下所示:

2. SDK进阶指引

对于对模型有微调训练需求的使用者,千帆SDK提供了模型训练和管理的能力。

  • 大模型训练:百度智能云千帆大模型平台提供了高性能的训练,模型微调能力,可以快速的进行训练任务下发和管理。
  • 大模型管理:主要用于自定义模型的管理和发布。
  • 大模型服务:千帆平台提供了基础的大模型运行环境,我们可以一键式发布自己的模型服务。

3. 通过Langchain接入千帆SDK

为什么选择Langchain

Langchain是可以帮助我们快速构建从原型到生产的LLM应用的框架。其封装了包括LLM,Embedding,Chain,Agent,Tool等一系列抽象的LLM应用组件,在其开源社区成员的不断贡献下集成了当前大部分主流的大语言模型等调用方法,是当前非常流行的开源大模型框架。它开发效率高,资源配套完善,拥有大量使用者。现在,我们可以在langchain中通过千帆SDK接入并使用百度智能云千帆大模型平台的训练等一系列能力,让应用场景开发更轻松、更便捷。

开源社区

千帆SDK已经开源到Github,并将持续更新迭代,可以关注订阅开始做自己的大模型应用了。

GIthub Repo:
https://github.com/baidubce/bce-qianfan-sdk
戳此链接
千帆社区:
https://cloud.baidu.com/qianfandev
戳此链接

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/137956.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring-Security权限实例

基于springBoot项目 引入依赖配置文件 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-security</artifactId></dependency> 快速上手 不连接数据库 1.创建用户实体类 Data AllArgsConstruct…

伦敦金冬令时开市时间怎样调整

在刚刚过去的一周&#xff0c;欧美的金融市场已经正式进入了冬令时&#xff0c;这对伦敦金市场的交易时间也产生了影响。由于美国于今年11月5日(星期日&#xff09;开始正式实施冬令时间&#xff0c;所以香港的伦敦金平台的交易时间也随之而有所调整。 从今年11月6日开始&#…

增强地理热图:Highcharts Maps v11.2.0 Crack

Highcharts Maps v11.2.0 添加了对地理热图插值的支持&#xff0c;允许您在类似温度图的图表的已知数据点之间添加估计值。 Highcharts Maps 提供了一种符合标准的方法&#xff0c;用于在基于 Web 的项目中创建逻辑示意图。它扩展了用户友好的 Highcharts JavaScript API&#…

Milvus Cloud——什么是 Agent?

什么是 Agent? 根据 OpenAI 科学家 Lilian Weng 的一张 Agent 示意图 [1] 我们可以了解 Agent 由一些组件来组成。 规划模块 子目标分解:Agent 将目标分为更小的、易于管理的子目标,从而更高效地处理复杂的任务。 反省和调整:Agent 可以对过去的行为进行自我批评和自我反思…

pyOCD

pyOCD 目录结构

Linux的目录的权限

目录 目录的权限 目录的权限 1、可执行权限: 如果目录没有可执行权限, 则无法cd到目录中. 2、可读权限: 如果目录没有可读权限, 则无法用ls等命令查看目录中的文件内容. 3、可写权限: 如果目录没有可写权限, 则无法在目录中创建文件, 也无法在目录中删除文件. 上面三个权限是…

微信小程序前端开发

目录 前言&#xff1a; 1. 框架选择和项目搭建 2. 小程序页面开发 3. 数据通信和接口调用 4. 性能优化和调试技巧 5. 小程序发布和上线 前言&#xff1a; 当谈到微信小程序前端开发时&#xff0c;我们指的是使用微信小程序框架进行开发的一种方式。在本文中&#xff0c;我…

划分VOC数据集,以及转换为划分后的COCO数据集格式

1.VOC数据集 LabelImg是一款广泛应用于图像标注的开源工具&#xff0c;主要用于构建目标检测模型所需的数据集。Visual Object Classes&#xff08;VOC&#xff09;数据集作为一种常见的目标检测数据集&#xff0c;通过labelimg工具在图像中标注边界框和类别标签&#xff0c;为…

Mac M2开发环境安装

持续更新 brew 安装 /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"JAVA多版本环境 ## 终端下载安装 brew install --cask temurin8 brew install --cask temurin11 brew install --cask temurin17## vim ~/.…

GPU架构与计算入门指南

1比较CPU与GPU 首先&#xff0c;我们会比较CPU和GPU&#xff0c;这能帮助我们更好地了解GPU的发展状况&#xff0c;但这应该作为一个独立的主题&#xff0c;因为我们难以在一节中涵盖其所有的内容。因此&#xff0c;我们将着重介绍一些关键点。 CPU和GPU的主要区别在于它们的…

AIGC视频生成/编辑技术调研报告

人物AIGC&#xff1a;FaceChain人物写真生成工业级开源项目&#xff0c;欢迎上github体验。 简介&#xff1a; 随着图像生成领域的研究飞速发展&#xff0c;基于diffusion的生成式模型取得效果上的大突破。在图像生成/编辑产品大爆发的今天&#xff0c;视频生成/编辑技术也引起…

vscode 无法激活conda虚拟环境

vscode 无法激活conda虚拟环境 今天装odoo17的过程中&#xff0c;指定了conda虚拟环境&#xff0c;打开终端的时候无法激活 PS C:\Users\Administrator> conda activate py311 usage: conda-script.py [-h] [--no-plugins] [-V] COMMAND ... conda-script.py: error: argu…

Milvus Cloud——LLM Agent 现阶段出现的问题

LLM Agent 现阶段出现的问题 由于一些 LLM&#xff08;GPT-4&#xff09;带来了惊人的自然语言理解和生成能力&#xff0c;并且能处理非常复杂的任务&#xff0c;一度让 LLM Agent 成为满足人们对科幻电影所有憧憬的最终答案。但是在实际使用过程中&#xff0c;大家逐渐发现了通…

conda环境中pytorch1.2.0版本安装包安装一直失败解决办法!!!

conda环境中pytorch1.2.0版本安装包安装一直失败解决办法 cuda10.0以及cudnn7.4现在以及安装完成&#xff0c;就差torch的安装了&#xff0c;现在torch我要装的是1.2.0版本的&#xff0c;安装包以及下载好了&#xff0c;安装包都是在这个网站里下载的&#xff08;点此进入&…

什么是 CSRF 攻击?如何防止 CSRF 攻击?

CSRF&#xff08;Cross-Site Request Forgery&#xff0c;跨站请求伪造&#xff09;是一种常见的网络安全攻击方式&#xff0c;攻击者利用用户已经通过认证的身份在受信任网站上执行未经用户授权的操作。 CSRF 攻击的一般过程如下&#xff1a; 用户登录受信任网站 A&#xff…

Kali常用配置(持续更新)

1. 同步系统时间 命令&#xff1a;dpkg-reconfigure tzdata &#xff0c;这个命令可以同时更新系统时间和硬件时间。 然后选择区域和城市&#xff0c;中国可以先选择Asia&#xff0c;然后选择Shanghai 2.更换系统数据源 # vim /etc/apt/sources.list #不是root用户的话需要…

Linux学习-破解Root密码

破解root密码思路 1&#xff09;重启系统,进入 救援模式 开启虚拟机A&#xff0c;在此界面按e键 在linux开头的该行&#xff0c;将此行的ro修改为rw 然后空格输入 rd.break 按 ctrl x 启动&#xff0c;会看到switch_root:/# 2&#xff09;切换到硬盘操作系统环境 # chroot …

ChatGPT和API发生重大中断!

11月9日凌晨&#xff0c;OpenAI在官网发布&#xff0c;ChatGPT和API发生重大中断&#xff0c;导致全球所有用户无法正常使用&#xff0c;宕机时间超过2小时。 目前&#xff0c;OpenAI已经找到问题所在并进行了修复&#xff0c;但仍然不稳定&#xff0c;会继续进行安全监控。 …

asp.net core mvc之 视图

一、在控制器中找到匹配视图&#xff0c;然后渲染成 HTML 代码返回给用户 public class HomeController : Controller {public IActionResult Index(){return View(); //默认找 Views/Home/Index.cshtml &#xff0c;呈现给用户} &#xff5d; 二、指定视图 1、控制器 publ…

QML10、QML 和 C++ 集成概述

概述 - QML 和 C++ 集成 QML 旨在通过 C++ 代码轻松扩展。 Qt QML 模块中的类允许从 C++ 加载和操作 QML 对象,并且 QML 引擎与 Qt 元对象系统集成的特性使 C++ 功能可以直接从 QML 调用。 这允许开发使用 QML、JavaScript 和 C++ 代码混合实现的混合应用程序。 集成 QML 和 C…