Hugging Face HUGS 加快了基于开放模型的AI应用的开发

在过去一年左右的时间里,开源人工智能模型在性能上已经明显赶上了 OpenAI、Google 和其他公司的流行闭源模型。 然而,由于在不同硬件上部署和维护这些模型所带来的开销,开发人员尚未广泛采用这些模型。为了解决这个问题,Hugging Face 今天发布了 Hugging Face Generative AI Services(HUGS),这是一个面向开发者的优化、零配置推理微服务,可以加速基于开放模型的 AI 应用程序的开发。

在这里插入图片描述
HUGS 模型部署还提供了与 OpenAI 兼容的 API,可直接替换建立在模型提供者 API 之上的现有应用程序。 这将帮助开发人员轻松地从基于 OpenAI 模型的应用程序迁移到基于开源模型的应用程序。

HUGS 基于文本生成推理和 Transformers 等开源技术构建。 它经过优化,可在各种硬件加速器上运行开放模型,包括NVIDIA GPU、AMD GPU、AWS Inferentia(即将推出)和 Google TPU(即将推出)。 目前已支持 13 种流行的开放式 LLM,包括 Meta 的 LLaMa,未来还将支持更多 LLM。 HUGS 可以部署在亚马逊网络服务、Google云平台和微软 Azure(即将推出)上。 HUGS根据公共云上每个容器的正常运行时间按需定价。

据Hugging Face称,HUGS具有以下优势:

在您的基础设施中: 在您自己的安全环境中部署开放模型。 让您的数据和模型远离互联网!

零配置部署: 通过零配置设置,HUGS 可将部署时间从数周缩短到数分钟,自动优化模型和服务配置,以满足NVIDIA, AMD GPU 或 AI 加速器的需求。

硬件优化推理: HUGS 基于 Hugging Face 的文本生成推理 (TGI) 技术,经过优化,可在不同硬件设置下实现最佳性能。

硬件灵活性: 在各种加速器上运行 HUGS,包括NVIDIA GPU 和 AMD GPU,即将支持 AWS Inferentia 和 Google TPU。

模型灵活性:HUGS 兼容多种开源模型,确保人工智能应用的灵活性和选择性。

行业标准 API: 利用与 OpenAI API 兼容的端点,使用 Kubernetes 轻松部署 HUGS,最大限度地减少代码更改。

企业发行版: HUGS 是 Hugging Face 开源技术的企业发行版,提供长期支持、严格测试和 SOC2 合规性。

企业合规性: 通过包含必要的许可证和服务条款,将合规风险降至最低。

您可以在这里了解有关 HUGS 的更多信息:

https://huggingface.co/blog/hugs

https://huggingface.co/docs/hugs/

HUGS 注重开源和易用性,有可能使获取强大人工智能模型的途径平民化,并加速创新人工智能应用的开发。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/57613.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

驱动开发系列26 - Linux Graphics 调试 mesa 的 glDrawArrays (二)

目录 一:概述 二:Gallium3D 的工作流程 三:tc_draw_vbo 与 tc_call_draw_single 的关系: 四:tc_draw_vbo 与 tc_call_draw_single 的具体执行流程: 五:mesa中线程池设计介绍: 六:总结: 一:概述 众所周知,Mesa 的 Gallium3D 是一个图形驱动框架,它将图形管线…

【Unity】Unity中文本中插入超链接且可点击响应,TextMeshPro的进阶用法

一、需求和尝试 今天遇到这样一个需求:在文本中插入超链接,且这个链接可以点击跳转对应的url,具体形式如下图所示。 其实这个有一个简单粗暴的方法,就是把需要加超链接的文本单独拿出来,和其他文本进行拼接&#xf…

修改huggingface的缓存目录以及镜像源

执行以下语句查看当前配置 huggingface-cli env默认输出应该如下 (py39-transformers) PS D:\py_project\transformers_demo> huggingface-cli envCopy-and-paste the text below in your GitHub issue.- huggingface_hub version: 0.26.1 - Platform: Windows-10-10.0.22…

面向垂类场景的智能化低代码引擎

背景介绍 在通信领域中,不同客户的数字化场景存在多种个性化大屏的定制需求,常见业务范围涵盖政务、金融、教育、工业、传媒、互联网等行业领域。然而,面对如此巨大的产业痛点诉求,传统低代码领域却存在数据监控粒度不统一、定制化…

学习docker第三弹------Docker镜像以及推送拉取镜像到阿里云公有仓库和私有仓库

docker目录 1 Docker镜像dockers镜像的进一步理解 2 Docker镜像commit操作实例案例内容是ubuntu安装vim 3 将本地镜像推送至阿里云4 将阿里云镜像下载到本地仓库5 后记 1 Docker镜像 镜像,是docker的三件套之一(镜像、容器、仓库)&#xff0…

基于SpringBoot+Vue+MySQL的实践性教学系统

系统展示 用户前台界面 后台界面 系统背景 随着信息技术的快速发展,企业对于高效、智能的管理系统需求日益迫切。传统的管理系统大多采用单机版或C/S架构,存在操作复杂、维护困难、数据共享性差等问题。而基于SpringBootVueMySQL的全栈管理系统&#xff…

【10分钟本地部署大语言模型】借助1Panel、MaxKb、Ollama快速部署大语言模型(qwen、llama等)及知识库

前言: 本文介绍一种快速在Linux服务器(windows使用wsl也可以)上部署大语言模型(含知识库)的方式。 核心内容如下: 1Panel: 开源的Linux 服务器运维管理面板,通过该面板安装ollama和…

hivesql学习大纲

引言 - 简述Hive的用途和特点 - 为什么学习HiveSQL 第一部分:Hive基础 1.1 Hive简介 - 定义和架构 - Hive与传统数据库的区别 - Hive的应用场景 1.2 Hive环境搭建 - 所需环境和依赖 - 安装和配置Hive - 启动和停止Hive服务 1.3 Hive数据模型 - 数据库&#xff0…

STM32与ESP8266实现串口通信

在嵌入式系统设计中,经常需要将微控制器与Wi-Fi模块相结合,以实现无线通信功能。STM32是一款强大的微控制器,而ESP8266是一款流行的Wi-Fi模块。本文将详细介绍如何使用STM32通过串口与ESP8266实现通信,包括硬件连接、软件配置和代…

Serv00 免费虚拟主机 零成本搭建 PHP / Node.js 网站

本文首发于只抄博客,欢迎点击原文链接了解更多内容。 前言 Serv00 是一个提供免费虚拟主机的平台,包含了 3GB 的存储空间和 512MB 的内存空间,足够我们搭建一个 1IP 的小网站了。同时他还不限制每月的流量,并提供了 16 个数据库&…

进程间通信(一)管道

文章目录 进程间通信进程间通信概述进程间通信的方式管道通信示例--基于管道的父子进程通信示例--使用管道进程兄弟进程通信 管道的读写特性示例--不完整管道(读一个写端关闭的管道)示例--不完整管道(写一个读端关闭的管道) 标准库…

PyQt 入门教程(3)基础知识 | 3.1、使用QtDesigner创建.ui文件

文章目录 一、使用QtDesigner创建.ui文件1、创建.ui文件2、生成.py文件3、使用新生成的.py文件4、编辑新生成的.py文件 一、使用QtDesigner创建.ui文件 1、创建.ui文件 打开PyCharm,使用自定义外部工具QtDesigner创建mydialog.ui文件,如下: …

前端面试题-token的登录流程、JWT

这是我的前端面试题的合集的第一篇,后面也会更新一些笔试题目。秋招很难,也快要结束了。但是,不要放弃,一起加油^_^ 一、token的登录流程 1.客户端用账号密码请求登录 2.服务端收到请求,需要去验证账号密码 3.验证成…

大话网络协议:HTTPS协议和HTTP协议有何不同?为什么HTTPS更安全

大家现在访问网络,浏览网页,注意一下的话,网址前面基本上都是一个 https:// 的前缀,这里就是说明这个网址所采用的协议是 https 协议。那么具体应该怎么理解 https 呢? 本文我们就力争能清楚地解释明白这个我们目前应该最广的协议。 理解HTTP协议 要解释 https 协议,当…

[mysql]聚合函数GROUP BY和HAVING的使用和sql查询语句的底层执行逻辑

#GROUP BY的使用 还是先从需求出发,我们现在想求员工表里各个部门的平均工资,最高工资 SELECT department_id,AVG(salary) FROM employees GROUP BY department_id 我们就会知道它会把一样的id分组,没有部门的就会分为一组,我们也可以用其他字段来分组,我们想查询不同jb_id…

动力电池中的基础知识总结

动力电池基础 基本定义 电池的分类方式多样,按工作特性和储存方式分类 一次电池(Primary Battery):只能进行一次放电(disposable or single-use batteries),放电后不能通过充电的方式使其恢复…

Postgresql pgsql 插件之postgis 安装配置

相关链接: pgsql编译安装 一、说明 postgis是pgsql最强大的几个插件之一,可以用于地理信息系统(gis)的搭建 二、插件安装启动 由于我的pgsql是编译安装的,所以插件也是编译安装,更加灵活。 1.进入到源…

草地杂草数据集野外草地数据集田间野草数据集YOLO格式VOC格式目标检测计算机视觉数据集

一、数据集概述 数据集名称:杂草图像数据集 数据集是一个包含野草种类的集合,其中每种野草都有详细的特征描述和标记。这些数据可以包括野草的图片、生长习性、叶片形状、颜色等特征。 1.1可能应用的领域 农业领域: 农业专家和农民可以利用这一数据集来…

Python 自编码器(Autoencoder)算法详解与应用案例

目录 Python 自编码器(Autoencoder)算法详解与应用案例引言一、自编码器的基本原理1.1 自编码器的结构1.2 自编码器的类型 二、Python中自编码器的面向对象实现2.1 Autoencoder 类的实现2.2 Trainer 类的实现2.3 DataLoader 类的实现 三、案例分析3.1 手…

IDEA无法生成自动化序列serialVersionUID及无法访问8080端口异常的解决方案

作者:CSDN-PleaSure乐事 欢迎大家阅读我的博客 希望大家喜欢 使用环境:IDEA 今天是1024程序员节,先祝大家节日快乐! 无法生成自动化序列serialVersionUID 如果我们在idea当中想要通过generate来生成自动化序列,如下图…