在 Google Cloud 上轻松部署开放大语言模型

今天,“在 Google Cloud 上部署”功能正式上线!

这是 Hugging Face Hub 上的一个新功能,让开发者可以轻松地将数千个基础模型使用 Vertex AI 或 Google Kubernetes Engine (GKE) 部署到 Google Cloud。

Model Garden (模型库) 是 Google Cloud Vertex AI 平台的一个工具,用户能够发现、定制和部署来自 Google 及其合作伙伴的各种模型。

不论是在 Hugging Face 模型页面还是在 Vertex AI 模型库页面,开发者们都可以轻松简单地将开放模型作为 API 端点部署在自己的 Google Cloud 账户内。

借助“在 Google Cloud 上部署”,开发者可以在自己的安全 Google Cloud 环境中直接构建准备就绪的生成式 AI 应用,无需自行管理基础设施和服务器。

为 AI 开发者构建

7fd5472f1aa5150d8f2e19fd2a79d7bc.png

这一全新的体验是基于我们今年早些时候宣布的战略合作关系进一步扩展的,目的是简化 Google 客户访问和部署开放生成式 AI 模型的过程。开发者和机构面临的一个主要挑战是,部署模型需要投入大量时间和资源,且必须确保部署的安全性和可靠性。

  • 战略合作关系https://hf.co/blog/gcp-partnership

“在 Google Cloud 上部署”提供了一个简单且管理化的解决方案,专为 Hugging Face 模型提供了专门的配置和资源。只需简单点击几下,就可以在 Google Cloud 的 Vertex AI 上创建一个准备就绪的端点。

Vertex AI 的 Model Garden 与 Hugging Face Hub 的集成,让在 Vertex AI 和 GKE 上发现和部署开放模型变得无缝衔接,无论您是从 Hub 开始,还是直接在 Google Cloud 控制台中。我们迫不及待想看到 Google 开发者们将会用 Hugging Face 模型创建出什么样的创新。

Wenming Ye, Google 产品经理

从 HF Hub 开启模型部署

在 Google Cloud 上部署 Hugging Face 模型变得非常简单。以下是如何部署Zephyr Gemma的步骤指导。从今天开始,所有带有text-generation-inference标签的模型都将受到支持。

  • Zephyr Gemmahttps://console.cloud.google.com/vertex-ai/publishers/HuggingFaceH4/model-garden/zephyr-7b-gemma-v0.1;hfSource=true;action=deploy?authuser=1

  • text-generation-inferencehttps://hf.co/models?pipelinetag=text-generation-inference&sort=trending

3c627f8011ea178d12e1ff4cb10bb19d.png

只需打开“部署”菜单,选择“Google Cloud”即可。这将直接带您进入 Google Cloud 控制台,您可以在 Vertex AI 或 GKE 上轻松一键部署 Zephyr Gemma。

0192af6c76ac34b24e51c2a0d990defc.png

进入 Vertex AI 模型库之后,您可以选择 Vertex AI 或 GKE 作为部署环境。如果选择 Vertex AI,您可以通过点击“部署”一键完成部署过程。如果选择 GKE,您可以根据提供的指南和模板,在新建或现有的 Kubernetes 集群上部署模型。

从 Vertex AI 模型库开启模型部署

Vertex AI 模型库是 Google 开发者寻找可用于生成式 AI 项目的现成模型的理想场所。从今天开始,Vertex Model Garden 将提供一种全新的体验,使开发者能够轻松部署 Hugging Face 上可用的最流行的开放大语言模型!

在 Google Vertex AI 模型库中,您会发现一个新的“从 Hugging Face 部署”选项,允许您直接在 Google Cloud 控制台内搜索并部署 Hugging Face 模型。

1191c36f83bf61c4862eb893c33449b1.png

点击“从 Hugging Face 部署”后,将显示一个表单,您可以在其中快速查找模型 ID。Hugging Face 上数以百计最受欢迎的开放大语言模型已经准备就绪,提供了经过测试的硬件配置。

08abb92f719242a56cbb80365e1a75b6.png

找到想要部署的模型后,选择该模型,Vertex AI 会自动填充所有必要的配置,以便您将模型部署到 Vertex AI 或 GKE 上。通过“在 Hugging Face 上查看”功能,您甚至可以确认选择的模型是否正确。如果您使用的是受限模型,请确保提供您的 Hugging Face 访问令牌,以授权下载模型。

109e901c5fcc90d0f6240285e811e518.png

就这样!从 Vertex AI 模型库直接将模型如 Zephyr Gemma 部署到您的 Google Cloud 账户,只需简单几步。

这只是开始

我们很高兴能够与 Google Cloud 合作,让 AI 更加开放和易于访问。无论是从 Hugging Face Hub 开始,还是在 Google Cloud 控制台内,部署开放模型到 Google Cloud 上都变得前所未有的简单。

但我们不会止步于此——敬请期待,我们将开启更多在 Google Cloud 上利用开放模型构建 AI 的新体验!

英文原文:https://hf.co/blog/google-cloud-model-garden

原文作者: Philipp Schmid & Jeff Boudier

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/814799.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【LeetCode刷题记录】238. 除自身以外数组的乘积

238 除自身以外数组的乘积 给你一个整数数组 nums,返回数组 answer ,其中 answer[i] 等于 nums 中除 nums[i] 之外其余各元素的乘积 。 题目数据保证数组 nums之中任意元素的全部前缀元素和后缀的乘积都在 32 位整数范围内。 请不要使用除法&#xff0c…

[Linux基础]ln硬链接和ln -s软链接的方法参数及区别

区别: 1、ln创建硬链接;ln -s 创建软链接 2、硬链接的两个文件指向同一个inode(inode:存放着文件的目录、权限、block块编号等信息);软链接的目标文件指向源文件,目标文件内存储的是源文件的目…

2024认证杯数学建模C题思路模型代码

目录 2024认证杯数学建模C题思路模型代码:4.11开赛后第一时间更新,获取见文末名片 以下为2023年认证杯C题: 2024年认证杯数学建模C题思路模型代码见此 2024认证杯数学建模C题思路模型代码:4.11开赛后第一时间更新,获…

JavaScript进阶6之函数式编程与ES6ESNext规范

函数式编程 柯里化currycurrycompose示例:简化版展开写: debug示例一:示例二: 模板字符串css in js方案 箭头函数问题 生成器 generator应用场景 反射 Reflect 柯里化curry compose是curry的应用 在 lodash/fp underscore ramba …

53.网络游戏逆向分析与漏洞攻防-基础数据分析筛选-逆向分析寻找消息数据解压缩过程

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 如果看不懂、不知道现在做的什么,那就跟着做完看效果 现在的代码都是依据数据包来写的,如果看不懂代码,就说明没看懂数据包…

Spring Boot 整合 Apache Phoenix 进行 HBase 数据操作指南

在Spring Boot中集成Apache Phoenix以便执行SQL查询和表操作,你可以使用Phoenix的JDBC驱动。下面是一个简单的示例,展示了如何在Spring Boot应用中集成Phoenix,并执行基本的表操作和查询。 1. 添加依赖 首先,你需要在你的pom.xm…

C# Solidworks二次开发:访问BOM表特性相关API详解

大家好,今天要讲的文章是和BOM表特性相关的API。 下面为要介绍的API: (1)第一个为GetConfigurationCount,这个API的含义为获取此BOM表可用或在此BOM表中使用的配置数,下面是官方的具体解释: …

phpMyadmin 设置显示完整内容

额外选项这里,默认部分内容改成完整内容 方案: 版本>4.5.4.1,修改文件:config.inc.php,添加一行代码: if ( !isset($_REQUEST[pftext])) $_REQUEST[pftext] F;

什么是已检查异常和未检查异常?

在Java中,已检查异常(Checked Exceptions)和未检查异常(Unchecked Exceptions)是两种主要的异常类型。 已检查异常(Checked Exceptions):这种类型的异常在编译期就会被检查&#xf…

浮点数的表示

王道考研ppt总结: 二、个人理解 浮点数解决的是定点数的位数局限,导致表示范围有限的问题 阶码:由阶符和数值部分组成,阶符为,小数点向左移动,否则向右移动;数值部分,是底数的几次幂…

【算法】标签算法及其运作流程

标签算法 1. 标签算法及其运作流程2. 标签算法主要有哪些?3.用python语言举例实现聚类 1. 标签算法及其运作流程 标签算法是一种用于自动为数据或文本内容添加标签或分类的算法。这些标签可以帮助组织、检索和理解数据,是信息管理和数据挖掘中的重要工具…

区块链媒体推广的8个成功案例解析-华媒舍

区块链领域作为一个新兴行业,媒体推广对于项目的成功发展起着至关重要的作用。本文将从八个成功案例中来分析区块链媒体推广的重要性和成功策略。 1. 媒体报道对于区块链项目的重要影响 媒体报道是提升区块链项目知名度和用户认可度的重要手段。对于区块链项目来说…

Java | Leetcode Java题解之第25题K个一组翻转链表

题目: 题解: class Solution {public ListNode reverseKGroup(ListNode head, int k) {ListNode hair new ListNode(0);hair.next head;ListNode pre hair;while (head ! null) {ListNode tail pre;// 查看剩余部分长度是否大于等于 kfor (int i 0…

CSS3新增

一些CSS3新增的功能 课程视频链接 目录 CSS3概述私有前缀长度单位remvwvhvmaxvmin 颜色设置方式rgbahslhsla 选择器动态伪类目标伪类语言伪类UI伪类结构伪类否定伪类伪元素 盒子属性box-sizing问题插播 宽度与设置的不同 resizebox-shadowopacity 背景属性background-originb…

BIRDy:机器人动力学辨识基准

文章目录 前言入门前提条件Benchmark结构运行benchmark如何(重新)生成一条激励轨迹如何(重新)生成实验数据如何(重新)生成机器人的辨识模型如何重新编译基准程序的.MEX文件用户自定义在基准中添加新的机器人在基准中加入新的辨识算法源码前言 如果没有一个合适的框架,学生、工…

SDK-0.7.8-Release-实体管理 - ApiHug-Release

🤗 ApiHug {Postman|Swagger|Api...} 快↑ 准√ 省↓ GitHub - apihug/apihug.com: All abou the Apihug apihug.com: 有爱,有温度,有质量,有信任ApiHug - API design Copilot - IntelliJ IDEs Plugin | Marketplace 更多精彩…

大数据存储解决方案和处理流程——解读大数据架构(四)

文章目录 前言数据存储解决方案数据集市运营数据存储(Operational Data Store)数据中心 数据处理数据虚拟化和数据联合虚拟化作为 ETL 或数据移动的替代品数据目录数据市场 前言 在数字时代,数据已成为公司的命脉。但是,仅仅拥有…

CNN卷积神经网络:理论基础、核心架构与多元应用

CNN是一种深度学习模型,利用卷积层提取图像特征,池化层降维与增强不变性,全连接层实现分类/回归。核心理论包括局部感知、权值共享、多层抽象。广泛应用图像识别、目标检测、语义分割、生成任务等领域。 一、CNN理论基础 1、局部感知野&…

二叉树之遍历

概述 之前有说到二叉树的建树,这次讲讲二叉树的遍历过程。二叉树的遍历分为深度优先遍历和广度优先遍历,二叉树的逻辑结构如下所示: class TreeNode{int val;TreeNode left;TreeNode right;public TreeNode(){}public TreeNode(int val){thi…

dPET论文笔记

PBPK论文笔记 题目:Self-supervised Learning for Physiologically-Based Pharmacokinetic Modeling in Dynamic PET 摘要 动态正电子发射断层扫描成像 (dPET) 提供示踪剂的时间分辨图像。从 dPET 中提取的时间活动曲线 (TAC&a…