LLM 使用 Elastic 实现可观察性:Azure OpenAI (二)

作者:来自 Elastic Muthukumar Paramasivam•Lalit Satapathy

我们为 Azure OpenAI GA 包添加了更多功能,现在提供提示和响应监控、PTU 部署性能跟踪和计费洞察!

我们最近宣布了 Azure OpenAI 集成的 GA。你可以在我们之前的博客 LLM 可观察性:Azure OpenAI(一) 中找到详细信息。

从那时起,我们为 Azure OpenAI 正式版包添加了更多功能,现在提供 prompt 和响应监控、PTU 部署性能跟踪和计费洞察。请继续阅读以了解更多信息!

高级日志记录和监控

集成的初始正式版本主要关注本机日志,通过使用认知服务日志记录来跟踪服务的遥测。此版本的 Azure OpenAI 集成允许你处理高级日志,从而更全面地了解 OpenAI 资源使用情况。

要实现这一点,你必须在 Azure 中设置 API 管理服务。API 管理服务是一个集中位置,你可以将所有 OpenAI 服务端点放在其中,以便端到端管理所有服务。启用 API 管理服务并配置 Azure 事件中心以流式传输日志。

要了解有关设置 API 管理服务以访问 Azure OpenAI 的更多信息,请参阅 Azure 文档。

通过使用高级日志记录,你可以收集以下日志数据:

  • 请求输入文本
  • 响应输出文本
  • 内容过滤器结果
  • 使用量信息
    • 输入 prompt token
    • 输出 completion token
    • 总 token

Azure OpenAI 集成现在收集 API 管理网关日志。当用户的问题进入 API 管理时,它会记录问题和来自 GPT 模型的响应。

以下是示例日志的样子:

内容过滤结果

Azure OpenAI 的内容过滤系统可检测输入提示和输出 completion 中特定类别的潜在有害内容并采取措施。借助 Azure OpenAI 模型部署,你可以使用默认内容过滤器或创建自己的内容过滤器。

现在,集成会收集内容过滤结果日志。在此示例中,让我们在 Azure OpenAI Studio 中创建一个生成错误日志的自定义过滤器。

通过利用 Azure Content Filters,你可以创建自己的自定义术语或短语列表以进行阻止或标记。

Elastic 中采集的文档将如下所示:

此屏幕截图提供了对内容过滤请求的见解。

PTU 部署监控

预配置吞吐量单位 (Provisioned throughput units - PTU) 是模型处理容量的单位,你可以保留并部署这些单位来处理 prompt 和生成 completions。

PTU 部署的精选仪表板可全面查看请求延迟、活动 token 使用情况、PTU 利用率和微调活动等指标,快速了解部署的运行状况和性能。

以下是默认捕获的基本 PTU 指标:

  • 响应时间:用户发送 prompt 后出现第一个响应所需的时间。
  • 活动 token:使用此指标了解 PTU 的 TPS 或 TPM 利用率,并与目标 TPS 或 TPM 场景的基准进行比较。
  • 预配置管理利用率(Provision-managed Utilization)V2:提供利用率百分比的见解,帮助防止过度使用并确保高效的资源分配。
  • Prompt token 缓存匹配率:以百分比表示的提示 token 缓存命中率。

使用计费

使用精选的概览仪表板,你现在可以监控 AI 应用程序的实际使用成本。你距离处理计费信息仅一步之遥。

你需要配置和安装 Azure 计费指标集成。安装完成后,Azure OpenAI 概览仪表板中会直观显示认知服务的使用成本。

立即试用

在我们的 Elasticsearch 服务上部署集群或下载堆栈,启动新的 Azure OpenAI 集成,在 Kibana 中打开精选仪表板并开始监控你的 Azure OpenAI 服务!

原文:LLM Observability with Elastic: Azure OpenAI Part 2 — Elastic Observability Labs

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/57802.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python画图3个小案例之“一起看流星雨”、“爱心跳动”、“烟花绚丽”

源码如下: import turtle # 导入turtle库,用于图形绘制 import random # 导入random库,生成随机数 import math # 导入math库,进行数学计算turtle.setup(1.0, 1.0) # 设置窗口大小为屏幕大小 turtle.title("流星雨动画&…

二十九、Python基础语法(继承-上)

一、概念介绍 继承:继承描述的是类与类之间的关系,集成之后子类对象可以直接使用父类中定义的方法的属性,可以减少代码冗余,提高编码效率。 二、继承语法 三、继承例子 # 定义一个父类 Animal class Animal:def __init__(self,…

‌频率和波长之间存在反比关系‌

‌频率和波长之间存在反比关系‌。根据波速公式vλf,在同种介质中,波的传播速度相同,因此波长和频率的乘积不变,即λv/f。这意味着频率越高,波长越短;频率越低,波长越长。 ‌频率和波数的转换公…

Rust 力扣 - 238. 除自身以外数组的乘积

文章目录 题目描述题解思路题解代码题目链接 题目描述 题解思路 这题主要有个关键点,就是元素能取0,然后我们分类讨论元素为0的数量 如果数组中存在至少两个元素为0,则每个元素的除自身以外的乘积为0如果数组中仅存在一个0,则为…

我们来学mysql -- 连接(原理版)

我们来学mysql -- 连接 题记两张表驱动表 题记 回到初学者的视角,navicat或命令窗口,呈现一行行数据,类比为excel工作薄更是深入人心通过join将多表的记录关联起来,这似乎也没啥问题只是好像是那么回事,又…似乎有想说…

Ubuntu 22.04安装部署

一、部署环境 表 1‑1 环境服务版本号系统Ubuntu22.04 server lts运行环境1JDK1.8前端WEBNginx1.8数据库postgresqlpostgresql13postgis3.1pgrouting3.1消息队列rabbitmq3.X(3.0以上)运行环境2erlang23.3.3.1 二、安装系统 2.1安装 1.安装方式,选第一条。 2.选择…

红队-windows基础篇

声明 通过学习 泷羽sec的个人空间-泷羽sec个人主页-哔哩哔哩视频,做出的文章如涉及侵权马上删除文章 笔记的只是方便各位师傅学习知识,以下网站只涉及学习内容,其他的都与本人无关,切莫逾越法律红线,否则后果自负 一.Windows&linux介绍 微软windows操作系统,…

QT 从ttf文件中读取图标

最近在做项目时,遇到需要显示一些特殊字符的需求,这些特殊字符无法从键盘敲出来,于是乎,发现可以从字体库文件ttf中读取显示。 参考博客:QT 图标字体类IconHelper封装支持Font Awesome 5-CSDN博客 该博客封装的很不错…

AnaTraf | 探秘计算机网络:网络流量分析与 TCP 标志位解析

AnaTraf 网络性能监控系统NPM | 全流量回溯分析 | 网络故障排除工具AnaTraf网络流量分析仪是一款基于全流量,能够实时监控网络流量和历史流量回溯分析的网络性能监控与诊断系统(NPMD)。通过对网络各个关键节点的监测,收集网络性能…

瑞格智慧心理服务平台 NPreenSMSList.asmx SQL注入漏洞复现

0x01 产品简介 瑞格智慧心理服务平台是一家致力于提供个性化心理健康支持的平台。通过先进的AI技术和专业心理学家团队,为用户提供定制化的心理评估和个性化的心理咨询服务。平台注重隐私保护和数据安全,用户可以安全、便捷地接受在线咨询和心理指导,帮助他们理解和应对各种…

MATLAB口罩检测

在当今疫情严峻的背景下,口罩成为了人们必备的防护用品。然而,市面上却出现了大量假冒伪劣口罩。为了帮助大家准确辨别真假口罩,小编将为大家介绍一种基于MATLAB的口罩检测方法。 1.口罩检测原理 通过图像处理技术,借助MATLAB强大…

【刷题13】链表专题

目录 一、两数相加二、两两交换链表的节点三、重排链表四、合并k个升序链表五、k个一组翻转链表 一、两数相加 题目: 思路: 注意整数是逆序存储的,结果要按照题目的要求用链表连接起来遍历l1的cur1,遍历l2的cur2,和…

消息队列面试——打破沙锅问到底

消息队列的面试连环炮 前言 你用过消息队列么?说说你们项目里是怎么用消息队列的? 我们有一个订单系统,订单系统会每次下一个新订单的时候,就会发送一条消息到ActiveMQ里面去,后台有一个库存系统,负责获取…

Linux 下执行定时任务之 Systemd Timers

不知道 ECS 因为什么缘故,上面安装的 MySQL 服务老是不定期挂掉,本来想通过 Linux 得 Cron 配置个半小时的定时检测任务,结果一直没有执行,因此又尝试使用了 Systemd Timers 进行了重新配置,简要做个记录。 Systemd Ti…

yocto中如何来安装systemd服务

在 Yocto 项目中安装 systemd 服务可以按照以下步骤进行: 1. 创建服务单元文件(.service 文件) 在 Recipe 中处理:在 Yocto 中,为了将服务单元文件安装到目标系统,首先需要在软件包的 Recipe(…

UE5相机系统初探(一)

UE5相机系统初探(一) 和Unity类似,UE的相机也是由名为Camera的component控制的。那么,在UE中要如何实现一个跟随玩家的第三人称相机呢?假设我们已经有了一个表示玩家的类ACF_Character,首先第一步就是要先在…

【python】OpenCV—Tracking(10.4)—Centroid

文章目录 1、任务描述2、人脸检测模型3、完整代码4、结果展示5、涉及到的库函数6、参考 1、任务描述 基于质心实现多目标(以人脸为例)跟踪 人脸检测采用深度学习的方法 核心步骤: 步骤#1:接受边界框坐标并计算质心 步骤#2&…

【maven】idea执行了maven的install命令给本地安装项目依赖包 安装后删除

目录 事件起因环境和工具操作过程解决办法1、找到对应的目录下的文件,手动去删除,比如我的依赖库的路径是D:\qc_code\apache-maven-3.8.2\repository 我只需要找到这个目录下对应的依赖包进行手动删除即可(不推荐,强行删除文件夹文…

PostgreSQL 到 PostgreSQL 数据迁移同步

简述 PostgreSQL 是一个历史悠久且广泛使用的数据库,不仅具备标准的关系型数据库能力,还具有相当不错的复杂 SQL 执行能力。用户常常会将 PostgreSQL 应用于在线事务型业务,以及部分数据分析工作,所以 PostgreSQL 到 PostgreSQL …

Java项目实战II基于Java+Spring Boot+MySQL的智能推荐的卫生健康系统(开发文档+数据库+源码)

目录 一、前言 二、技术介绍 三、系统实现 四、文档参考 五、核心代码 六、源码获取 全栈码农以及毕业设计实战开发,CSDN平台Java领域新星创作者,专注于大学生项目实战开发、讲解和毕业答疑辅导。获取源码联系方式请查看文末 一、前言 基于Java、…