Kong AI Gateway 正式 GA !

Kong Gateway 3.7 版本已经重磅上线,我们给 AI Gateway 带来了一系列升级,下面是 AI Gateway 的更新亮点一览。

AI Gateway 正式 GA

在 Kong Gateway 的最新版本 3.7 中,我们正式宣布 Kong AI Gateway 达到了通用可用性(GA)阶段。

现在,AI 开发者们可以专注于开发 AI 定制应用,比如利用大型语言模型(LLM)和检索增强生成(RAG)技术打造的聊天机器人,或者其他 AI 集成方案。他们无需再从零开始搭建底层架构,去构建保证 AI 应用在生产环境中安全、可监控的基础设施。Kong Konnect 和 Kong Gateway Enterprise 平台将提供所需的扩展性支持。

此外,Kong AI Gateway 现在也可以作为一个软件即服务(SaaS)解决方案完全部署在云端。同时,Kong 还推出了新的 Konnect Dedicated Cloud Gateways 选项,供用户进行云端部署。

image.png

Kong AI Gateway 可以用于广泛的场景,帮助加速新的人工智能应用程序在生产环境中的落地。

对现有的 OpenAI SDK 提供支持

Kong AI Gateway 允许让用户通过 OpenAI API 规范作为统一标准,访问其支持的所有 LLM。

使用开发人员熟悉的 OpenAI API 规范将大大简化大家上手的难度。

并且, Kong AI Gateway 原生支持了 OpenAI SDK 客户端库,进一步简化了构建 AI 代理和应用程序的过程。您只需将请求重定向到指向 AI Gateway 路由的 URL,即可通过 AI Gateway 使用LLM。

如果您已经使用 OpenAI SDK 编写了现有的业务逻辑,则可以重用它来使用 Kong AI Gateway 支持的每个 LLM,无需修改代码,因为它是100%兼容的。

引入流式 AI 消息支持

Kong AI Gateway 已在”ai-proxy” 插件中,对所有LLM引擎加入了对AI的流式交互能力的原生支持。这将解锁更多实时体验,而不用等待 LLM 完成处理后再发送回客户端。

在流式模式下,响应将以词元(token)为单位通过 HTTP 响应块(SSE)逐个发送。用户可以通过设置“ ai-proxy” 的以下属性来启用该功能:

config:model:options:response_streaming: "allow"

功能启用后,客户端便可在请求体中显式地进行流式请求,例如:

{"prompt": "What is 1 + 1?","stream": true
}

凭借这项新功能,Kong AI Gateway 的用户将能够打造更具吸引力和互动性的人工智能体验。

基于 Token 的高级限流能力 (企业版)

我们正在引入一项基于 token 请求量进行限流的企业级功能。通过启用新的“ai-rate-limiting-advanced” 插件,客户可以更好地管理组织中不同团队的 token 消耗水平,从而更好地控制整体 AI 开销。对于自托管 LLM 提供商,当应用程序中的 AI 流量增加时,客户将能够更好地调整其在 AI 基础设施上的流量。

Kong 已经提供了基于发送到 API 的请求数量进行速率限制的 API 速率限制功能。而新版“ai-rate-limiting-advanced” 插件则专注于所请求 AI token 的数量,并不考虑发送给它们原始 HTTP 请求的数量。如果客户希望同时对原始请求和特定AI Token进行速率限制,则“ai-rate-limiting-advanced” 插件可以与标准 Kong 速率限制插件结合使用。

ai-rate-limiting-advanced 插件是目前市面上唯一可以用于 AI 的速率限制插件。

基于 Azure 的内容安全能力 (企业版)

新的企业插件“ai-azure-content-safety”允许客户与包括“Azure AI”在内的多个内容安全服务无缝集成,以验证每个通过AI网关的prompt请求。这项功能也被所有ai-proxy插件的所有LLM引擎所支持。

例如:凭借该功能,客户可以使用 Azure 的原生安全服务策略,在 Kong AI Gateway 中检测和过滤所有不和谐的内容,并将该策略应用于所有 LLM 提供商的prompt请求,以实现内容安全的统一管理。

image.png

基于 URL 动态选择 LLM

该特性使用户可以通过客户端请求的 URL 路径动态调用所需的模型。同时,用户可以通过在插件配置中硬编码其名称来使用模型。通过启用此功能,Kong AI Gateway 便可以更容易地扩展到希望尝试各种模型的团队,而无需预先在 “ai-proxy” 插件中进行配置。

该功能可以通过 “ai-proxy” 的新 “config.route_source” 配置参数进行配置。并且,用户只需配置一次,便可使所有模型均通过识别URL路径的方式来动态地、灵活地调用。

支持 Anthropic Claude 2.1 Messages API

Kong AI Gateway 提供一个 API 接口,使用户可以随意调用部署在云端的或自托管提供商提供的模型。该接口在新版本中得到了扩展,以支持 Anthropic Claude 2.1 Messages 这样的通常用于创建聊天机器人或虚拟助手应用程序的API,用于管理用户与 Anthropic Claude 模型(助手)之间的对话交流。

基于用户需求, Kong AI Gateway 将持续增加对更多 LLM 的支持。

更新 AI 用量统计的格式

随着 Kong AI Gateway 进入 GA 阶段,我们已经更新了所有由 Kong 处理的 AI 请求的分析日志格式。

通过这种新的日志格式,用户可以测量 “ai-proxy”,“ai-request-transformer”和“ai-response-transformer” 所请求的每个模型的消耗情况。

"ai": {"ai-proxy": {"meta": {"request_model": "gpt-35-turbo","provider_name": "azure","response_model": "gpt-35-turbo","plugin_id": "5df193be-47a3-4f1b-8c37-37e31af0568b"},"payload": {},"usage": {"prompt_token": 89,"completion_token": 56,"total_tokens": 145}},… more AI Plugins

这种新的分析日志格式取代了旧的格式,以便企业用户实现更精细化的用量管理。

那么,我们该如何学习大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、大模型全套的学习路线

学习大型人工智能模型,如GPT-3、BERT或任何其他先进的神经网络模型,需要系统的方法和持续的努力。既然要系统的学习大模型,那么学习路线是必不可少的,下面的这份路线能帮助你快速梳理知识,形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别:AI大模型API应用开发工程

L3级别:大模型应用架构进阶实践

L4级别:大模型微调与私有化部署

一般掌握到第四个级别,市场上大多数岗位都是可以胜任,但要还不是天花板,天花板级别要求更加严格,对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线,不知道为什么发出来就有点糊,高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/26946.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

IETAB 在线用印失败的问题排查

文章目录 问题描述问题分析解决方案 问题描述 生产上有个功能,就是在线用印,在前几天发现不能正常用印,代码都没有动过,有些奇怪 这个在线用印功能是利用IETAB插件打开URL实现文档预览。 问题分析 1、首先怀疑是IETAB插件有问…

踩坑!被node-sass折磨的一天

文章目录 被node-sass折磨的一天折磨过程了解原因注意事项 被node-sass折磨的一天 折磨过程 起因是要开发一个老项目,照常拉代码、下依赖、启动三步走 依赖开始下载不对了,以为是node版本问题,寻找node-sass对应的node版本 利用nvm&#…

web前端需要的知识点:深度解析与技能进阶之路

web前端需要的知识点:深度解析与技能进阶之路 在快速发展的互联网时代,web前端技术日新月异,对于想要投身这一领域的开发者来说,掌握必要的知识点显得尤为重要。本文将从四个方面、五个方面、六个方面和七个方面,深入…

字符串的复杂操作(字符串的下标和切片、以及字符串的相关操作函数方法)

如果使用不符合标准的标识符,将会报错 SyntaxError: incalid syntax(无效语法) 文章目录 一、字符串的复杂操作1.1 下标(也叫索引)1.2 切片 一、字符串的复杂操作 1.1 下标(也叫索引) 下标代表着第几个数据,从0开始计…

运维开发:从基础到实战详解

目录 一、运维开发的定义与意义 1. 运维开发的定义 2. 运维开发的意义 二、运维开发的核心概念 1. 持续集成(CI) 2. 持续交付(CD) 3. 基础设施即代码(IaC) 三、运维开发的常用工具 1. 版本控制系统 2. 持续集成工具 3. 配置管理工具 4. 容器化工具 5. 监控和…

网络安全练气篇——常见服务端口对应漏洞

常见的端口所对应的已知漏洞 21 FTP服务的数据传输端口 22 FTP服务的连接端口,可能存在 弱口令暴力破解 389 LDAP目录访问协议,有可能存在注入、弱口令 443 HTTPS端口,心脏滴血等与SSL有关的漏洞 445 SMB服务端口,可能存…

【Css】纯css展开、收起超出的文本

效果 展开 收起 未超出 码 -webkit-line-clamp: 3; 设置限制行数 <div class"wrap"> <inputtype"checkbox"id"exp-txt"><div class"text"><labelfor"exp-txt"class"btn"></label&g…

【数组】【快慢双指针】删除有序数组中的重复项+移除元素+删除有序数组中的重复项II

今天趁热打铁&#xff0c;接着刷了几道标签是【数组】的题&#xff0c;基本都是双指针就能解决。 1、删除有序数组中的重复项 该题对应力扣网址 class Solution { public:int removeDuplicates(vector<int>& nums) {int i,j;int count 0;int n nums.size();nums.…

李诞-2021.8脱口秀工作手册-1-工作的本质是交易;脱口秀是一份和生活分不开的工作,你的全部人生都理应要为你的创作提供养分,为它服务。

1 首先&#xff0c;这是一份工作&#xff0c;工作的本质是交易。 我们在用自己的时间和才能&#xff0c;通过一家公司&#xff0c;与市场交换金钱。 根据诺贝尔经济学奖得主科斯的著名理论&#xff0c;公司会产生的原因&#xff0c;就是人们自己直接与市场交易成本太高&…

GLM+vLLM 部署调用

GLMvLLM 部署调用 vLLM 简介 vLLM 框架是一个高效的大型语言模型&#xff08;LLM&#xff09;推理和部署服务系统&#xff0c;具备以下特性&#xff1a; 高效的内存管理&#xff1a;通过 PagedAttention 算法&#xff0c;vLLM 实现了对 KV 缓存的高效管理&#xff0c;减少了…

从零开始写 Docker(十八)---容器网络实现(下):为容器插上”网线“

本文为从零开始写 Docker 系列第十八篇&#xff0c;利用 linux 下的 Veth、Bridge、iptables 等等相关技术&#xff0c;构建容器网络模型&#xff0c;为容器插上”网线“。 完整代码见&#xff1a;https://github.com/lixd/mydocker 欢迎 Star 推荐阅读以下文章对 docker 基本实…

SwiftUI中UIViewRepresentable的使用(UIKit与SwiftUI的桥梁)

UIViewRepresentable是一个协议&#xff0c;用于创建一个SwiftUI视图&#xff0c;该视图包装了一个UIKit视图。通过实现UIViewRepresentable协议&#xff0c;我们可以在SwiftUI中使用自定义的UIKit视图&#xff0c;并与SwiftUI进行交互。 实现UIViewRepresentable 创建一个遵…

Java的MyBatis框架中 if-else语句

在Java的MyBatis框架中&#xff0c;mapper文件用于定义SQL语句和映射规则。在mapper文件中&#xff0c;你可以使用<if>、<choose>、<when>和<otherwise>等元素来执行条件逻辑&#xff0c;类似于编程语言中的if-else语句。以下是一些常用的条件处理方法…

自动控制理论实验---IDFT和FFT算法的原理和MATLAB编程

1、实验设备 PC计算机1台&#xff0c;MATLAB软件1套。 2、实验目的 掌握IDFT&#xff08;逆离散傅里叶变换&#xff09;算法的原理和MATLAB编程方法。了解FFT&#xff08;快速傅里叶变换&#xff09;算法&#xff0c;并能够调用MATLAB的fft函数进行频域变换。验证IDFT程序的…

数据预处理之基于统计的(3σ,Z分数,Boxplot箱线图)异常值检测#matlab

基于统计的异常值检测 1.异常值的含义 异常值是指在数据集中偏离大部分数据的数据&#xff0c;使人怀疑这些数据的偏离并非由随机因素产生&#xff0c;而是产生于完全不同的机制。 异常挖掘(outlier mining)问题由两个子问题构成&#xff1a;(1)如何度量异常。(2)如何有效发…

金融与大模型:引领行业未来的创新融合

前言 在数字化浪潮席卷全球的今天&#xff0c;金融与大模型的结合正成为行业发展的新引擎。这种融合不仅为金融机构带来了前所未有的效率和准确性&#xff0c;也为金融市场的稳定与发展注入了新的活力。本文将基于当前的市场现状&#xff0c;结合金融环境的发展&#xff0c;深…

Java学习-MyBatis学习(四)

代码下载 解决字段名与属性名不一致 ①使用别名emp_name empName解决字段名和属性名不一致 <select id"getAllEmpOld" resultType"Emp"><!--①使用别名emp_name empName解决字段名和属性名不一致-->select eid,emp_name empName,age,sex,em…

图片查看器

目录 一 原型 二 源码 一 原型 二 源码 namespace 图片查看器 {public partial class Form1 : Form{public Form1(){InitializeComponent();}private void Form1_Load(object sender, EventArgs e){//默认显示第一张图片pictureBox1.Image imageList1.Images[0];}private v…

《未选择的路》

2024年&#xff0c;计算机相关专业还值得选择吗&#xff1f; 看到这个话题活动&#xff0c;回想起自己过去做的许多选择&#xff0c;思绪良久。 一首诗送给大家吧。 顾子欣 译 列位&#xff0c;共勉。

【PB案例学习笔记】-21小大写金额转换

写在前面 这是PB案例学习笔记系列文章的第21篇&#xff0c;该系列文章适合具有一定PB基础的读者。 通过一个个由浅入深的编程实战案例学习&#xff0c;提高编程技巧&#xff0c;以保证小伙伴们能应付公司的各种开发需求。 文章中设计到的源码&#xff0c;小凡都上传到了gite…