Fastly的新API有望提高ChatGPT的可访问性

该公司报告称,Fastly AI在其 Edge Cloud Platform 上运行并利用语义缓存,加快了 AI 聊天机器人的访问时间,促进了代码生成和调试等开发人员服务。

该公司暗示,它可能会通过扩展这一专门的 API 来拓宽其 AI 战略,以便未来涵盖 ChatGPT 之外的其他大型语言模型 (LLM)。

文章来源:Fastly的新API有望提高ChatGPT的可访问性-国外VPS网站

Fastly的新API有望提高ChatGPT的可访问性

Fastly强调,这是解决流行 AI 应用程序遇到的一些问题的催化剂,因为它们每天要处理数十万个 API 调用,并感受到后端效率低下的痛苦。例如,如果没有语义缓存,每次调用 LLM 都需要返回提供商获取信息,这可能会增加成本和延迟。AI Accelerator 的语义缓存旨在通过存储来自 Fastly 高性能边缘平台的许多查询的响应来快速克服这些问题,从而提供更好的用户体验,提高性能并降低成本。

这一进展引起了 Moor Insights & Strategy 行业分析师 Will Townsend 的关注,他称其为游戏规则改变者。AI Accelerator 不仅可以提高生成式 AI 性能,还可以降低代币成本。这展示了 Fastly 的架构优势,并表明他们的 CDN 方法可以应用于更多非传统服务。

在 Fastly 最近的季度财报电话会议上,首席执行官 Todd Nightingale 强调,客户越来越多地寻求无服务器计算和边缘存储等先进解决方案。这与公司提供尖端技术以满足不断变化的市场需求的战略重点相一致。

Fastly 的边缘网络基础设施非常广泛,横跨美国二十多个站点和众多国际地点。在其最新季度报告中,该公司记录了其边缘计算产品的增长,该业务部门的收入同比增长从约 200 万美元增加到近 300 万美元。虽然这只占 Fastly 总收入的一小部分,但该公司非常重视边缘计算,以实现未来的增长。

其推出对于电信行业来说尤其值得关注,因为包括 Lumen Technologies、Verizon 和 Akamai 在内的多家公司一直在探索 AI 与边缘计算的交叉机会。这些努力源于对边缘计算潜力的坚信,即推动构建更小、分布式数据中心以支持低延迟服务。

然而,这种预期的近乎即时、亚毫秒级、对延迟敏感的需求仅部分实现,给一些边缘计算项目带来了挫折。尽管存在这些困难,但围绕 ChatGPT 等人工智能服务的重新兴起正在重新将注意力集中在边缘计算上;采用率正在缓慢上升。尽管当今大多数人工智能部署都集中在大型数据中心,但未来预计将转向“推理”人工智能世界,由于边缘计算提供的低延迟网络连接,一些服务将更好地在边缘提供。

这是科技行业日益兴起的将复杂功能(例如机器学习)抽象为 API 的趋势的一部分。无线行业的开发人员越来越多地有机会通过 API 直接从网络购买新的网络功能,这对需要收回 5G 网络投资的运营商来说是一个诱惑。

更多相关资讯尽在:国外VPS网站 - 国外VPS测评,云服务器,香港VPS,主机推荐

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/34172.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ONLYOFFICE 桌面编辑器 8.1 发布:全新 PDF 编辑器、幻灯片版式、增强 RTL 支持及更多本地化选项

目录 什么是ONLYOFFICE? ONLYOFFICE 主要特点包括: 官网信息: 1. 功能齐全的 PDF 编辑器 1.1 编辑 PDF 文本 1.2 插入和修改对象 1.3 创建和填写表单 2. 幻灯片版式功能 2.1 快速应用幻灯片版式 2.2 动画窗格的改进 3. 文档编辑、…

同元软控智能电动汽车数字化解决方案亮相CICV 2024

2024年6月18日-20日,由中国汽车工程学会、国家智能网联汽车创新中心、清华大学车辆与运载学院、清华大学智能绿色车辆与交通全国重点实验室举办的第十一届国际智能网联汽车技术年会(CICV 2024)在北京召开。苏州同元软控信息技术有限公司&…

冻干食品市场飙升至新高度,预计到 2030 年将达到 717 亿美元

冻干食品市场,近年来经历了显著增长,2021 年价值 372 亿美元,预计到 2030 年将达到 717 亿美元。 从2022年到2030年,这一强劲的扩张是由7.7%的复合年增长率推动的,这是由于多种因素造成的,包括食品加工行…

营销复盘秘籍,6步法让你的活动效果翻倍

在营销的世界中,每一次活动都是一次探险,而复盘就是探险后的宝藏图,指引我们发现问题、提炼经验、优化策略。 想要学习如何复盘,只要了解以下复盘六大步骤,即可不断总结,逐渐走向卓越。 第一步&#xff1…

超级内卷时代,这样做,刻不容缓

分享一个月入十万的赚钱项目 别再抱怨手上项目不好做,生意不好做了,这只是个开始,长远来看,2024应该是未来几年中经济环境最好的一年,我们所有人都已经进入到“超级内卷”时代! 随着竞争环境越来越激烈&…

clickhouse分页使用mybatis-plus

需求:使用clickhouse时需要用到分页。 解决办法:mybatis-plus3.X已经支持ClickHouse数据库,只需正确配置其他用法跟用mysql一样。 (注:使用3.2.0版本并不支持clickhouse,需要更高版本) 参考博客:https://blog.csdn.net…

斯坦福大学 AI 研究部门推出的“7 周人工智能学习计划”

①AI Python 基础,包括计算机原理、语法、判断语句等; ②AI Python 进阶,涉及 Linux 命令、多任务编程等; ③机器学习,涵盖算法、数据结构等; ④计算机视觉与图像处理,包含图像分类、目标检测…

软件工程体系概念

软件工程 软件工程是应用计算机科学、数学及 管理科学等原理开发软件的工程。它借鉴 传统工程的原则、方法,以提高质量,降 低成本为目的。 一、软件生命周期 二、软件开发模型 1.传统模型 瀑布模型、V模型、W模型、X 模型、H 模型 (1)瀑布模型 瀑布…

我原以为政务类网站不追求漂亮,打脸啦,漂亮得颠覆你认知。

我原本以为政务类网站一定时沉稳、工整、信息量大的,这些和漂流都关联不上,直到最近看了一些网站,发现我的认识狭隘了。 政务类网站的设计风格通常需要注重以下几个方面: 稳重和专业感: 政务类网站需要给人以稳重、正…

【JavaScript】typeof返回值

typeof 用于返回数据类型,共六种返回值: 1.number, 2.string, 3.boolean, 4.object(object, array, null的返回值都为object), 5.function, 6.undefined。 let a hello let b [1, 2, 3] console.log(typeof NaN)//number console.log(typeof (NaN))//…

如何备份和恢复 Docker Desktop 数据

如何备份和恢复 Docker Desktop 数据 在使用 Docker Desktop 进行开发和部署时,备份和恢复 Docker 数据是非常重要的。本文将详细介绍如何在 Docker Desktop 中备份和恢复数据,确保您的容器和相关数据在任何情况下都能得到保护。 为什么需要备份和恢复…

如何检查 Kubernetes 网络配置

前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。 简介 Kubernetes 是一个容器编排系统,可以管理集群中的容器化应用程序。在集群中保持所有容器之间的网络连接需要一些高级网…

iptables(7)扩展模块state

简介 前面文章我们已经介绍了一些扩展模块,如iprange、string、time、connlimit、limit,还有扩展匹配条件如--tcp-flags、icmp。这篇文章我们介绍state扩展模块 state 在 iptables 的上下文中,--state 选项并不是直接关联于一个扩展模块,而是与 iptables 的 state 匹配机制…

长尾问题定义及如何解决长尾分布问题

目录 长尾问题定义主要挑战解决方法应用场景结论 长尾问题 定义 长尾问题(Long Tail Problem)是指在某些数据分布中,少数类别(或事件)出现的频率非常高,而多数类别(或事件)出现的频…

golang 最小堆获取前 n 的数据

背景 大量数据,想获取其中 Num 降序前五的数据 实现 package testimport ("container/heap""fmt""testing" )type Element struct {Content stringNum int }// 定义一个最小堆 type ElementMinHeap []Element// 重写方法 func…

oracle报错-ORA-12638:身份证明检索失败

navicat16连接本地oracle数据库成功后,连接远程数据库,同样是oracle11g,确认网络、用户名、密码都没问题的情况下,报错ora-12638。 解决方法: 这是由于Oracle的认证方式使用了本地操作系统认证(NTS&#x…

记一次服务器崩溃事件

今天在安装Jenkins的时候,进行到插件安装这一步,本来一切顺利,结果最后安装完成之后一直进不去网页,显示连接超时,网上搜索了一圈也没发现什么相似的情况,当我疑惑的时候回到Linux控制台,发现命…

使用pkg -r 命令选项向jail虚拟子系统里安装软件@FreeBSD

刷FreeBSD 论坛的时候,看到这样一招:使用pkg -r选项,往jail等虚拟机子系统里安装软件。jails - How to install a pkg offline into a jail? | The FreeBSD Forums rootfbhost:~ # pkg pkg: not enough arguments Usage: pkg [-v] [-d] [-l…

Java项目:基于SSM框架实现的电子竞技管理平台【ssm+B/S架构+源码+数据库+毕业论文】

一、项目简介 本项目是一套基于SSM框架实现的电子竞技管理平台 包含:项目源码、数据库脚本等,该项目附带全部源码可作为毕设使用。 项目都经过严格调试,eclipse或者idea 确保可以运行! 该系统功能完善、界面美观、操作简单、功能…