Observability：使用 OpenTelemetry 和 Elastic 监控 OpenAI API 和 GPT 模型

作者： 来自 Elastic David Hope

ChatGPT 现在非常火爆，甚至席卷了整个互联网。 作为 ChatGPT 的狂热用户和 ChatGPT 应用程序的开发人员，我对这项技术的可能性感到非常兴奋。 我看到的情况是，基于 ChatGPT 的解决方案将会呈指数级增长，人们将需要监控这些解决方案。

由于这是一项相当新技术，我们不想让专有技术给我们闪亮的新代码带来负担，不是吗？ 不，我们不会，这就是为什么我们将在本博客中使用 OpenTelemetry 来监控我们的 ChatGPT 代码。 这对我来说尤其重要，因为我最近创建了一项通过 Zoom 通话生成会议记录的服务（需要使用 OpenAI 服务）。 如果我要任意使用这个功能，需要花费多少钱以及如何确保它可用？

OpenAI API 来救援

毫无疑问，OpenAI API 非常棒。 它还为我们提供了对每个 API 调用的每个响应中如下所示的信息，这可以帮助我们了解我们所收取的费用。 通过使用 OpenAI 在其网站上发布的 token 数量、模型和定价，我们可以计算成本。 问题是，我们如何将这些信息输入到我们的监控工具中？

{"choices": [{"finish_reason": "length","index": 0,"logprobs": null,"text": "\n\nElastic is an amazing observability tool because it provides a comprehensive set of features for monitoring"}],"created": 1680281710,"id": "cmpl-70CJq07gibupTcSM8xOWekOTV5FRF","model": "text-davinci-003","object": "text_completion","usage": {"completion_tokens": 20,"prompt_tokens": 9,"total_tokens": 29}
}

OpenTelemetry 来救援

OpenTelemetry 确实是一项出色的工作。 多年来，它得到了如此多的采用和投入，似乎真的已经到了我们可以将其称为 “可观察性 Linux” 的地步。 我们可以使用它来记录日志、指标和跟踪，并以供应商中立的方式将它们放入我们最喜欢的可观察性工具中 - 在本例中为 Elastic Observability。

借助 Python 中最新最好的 otel 库，我们可以自动检测外部调用，这将帮助我们了解 OpenAI 调用的执行情况。 让我们先看一下我们的示例 Python 应用程序，它实现了 Flask 和 ChatGPT API，并且还具有 OpenTelemetry。 如果你想亲自尝试一下，请查看本博客末尾的 GitHub 链接并按照以下步骤操作。

设置 Elastic Cloud 帐户（如果你还没有）

  1. 请访问 https://www.elastic.co/cloud/elasticsearch-service/signup 注册为期两周的免费试用。
  2. 创建部署。

登录后，单击添加集成。

单击 APM integrations。

然后向下滚动以获取此博客所需的详细信息：

请务必设置以下环境变量，将变量替换为你从上面的 Elastic 和此处的 OpenAI 获得的数据，然后在命令行上运行这些 export 命令。

export OPEN_AI_KEY=sk-abcdefgh5ijk2l173mnop3qrstuvwxyzab2cde47fP2g9jij
export OTEL_EXPORTER_OTLP_AUTH_HEADER=abc9ldeofghij3klmn
export OTEL_EXPORTER_OTLP_ENDPOINT=https://123456abcdef.apm.us-west2.gcp.elastic-cloud.com:443

并安装以下 Python 库：

pip3 install opentelemetry-api
pip3 install opentelemetry-sdk
pip3 install opentelemetry-exporter-otlp
pip3 install opentelemetry-instrumentation
pip3 install opentelemetry-instrumentation-requests
pip3 install openai
pip3 install flask

下面是我们用于示例应用程序的代码。 在现实世界中，这将是你自己的代码。 所有这一切都是通过以下消息调用 OpenAI API：“Why is Elastic an amazing observability tool?”

import openai
from flask import Flask
import monitor  # Import the module
from opentelemetry.exporter.otlp.proto.grpc.trace_exporter import OTLPSpanExporter
import urllib
import os
from opentelemetry import trace
from opentelemetry.sdk.resources import SERVICE_NAME, Resource
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.instrumentation.requests import RequestsInstrumentor# OpenTelemetry setup up code here, feel free to replace the “your-service-name” attribute here.
resource = Resource(attributes={SERVICE_NAME: "your-service-name"
})
provider = TracerProvider(resource=resource)
processor = BatchSpanProcessor(OTLPSpanExporter(endpoint=os.getenv('OTEL_EXPORTER_OTLP_ENDPOINT'),headers="Authorization=Bearer%20"+os.getenv('OTEL_EXPORTER_OTLP_AUTH_HEADER')))
provider.add_span_processor(processor)
trace.set_tracer_provider(provider)
tracer = trace.get_tracer(__name__)
RequestsInstrumentor().instrument()# Initialize Flask app and instrument itapp = Flask(__name__)
# Set OpenAI API key
openai.api_key = os.getenv('OPEN_AI_KEY')@app.route("/completion")
@tracer.start_as_current_span("do_work")
def completion():response = openai.Completion.create(model="text-davinci-003",prompt="Why is Elastic an amazing observability tool?",max_tokens=20,temperature=0)return response.choices[0].text.strip()if __name__ == "__main__":app.run()

使用 Monkey patching (猴子补丁)

在 monitor.py 代码中，你会看到我们做了一些叫做 “Monkey Patching” 的事情。 猴子修补是 Python 中的一项技术，你可以通过修改类或模块的属性或方法在运行时动态修改类或模块的行为。 猴子补丁允许你更改类或模块的功能，而无需修改其源代码。 当你需要修改你无法控制或无法直接修改的现有类或模块的行为时，它会很有用。

我们在这里要做的是修改 “Completion” 调用的行为，以便我们可以 “窃取” 响应指标并将它们添加到我们的 OpenTelemetry 范围中。 你可以在下面看到我们如何做到这一点：

def count_completion_requests_and_tokens(func):@wraps(func)def wrapper(*args, **kwargs):counters['completion_count'] += 1response = func(*args, **kwargs)token_count = response.usage.total_tokensprompt_tokens = response.usage.prompt_tokenscompletion_tokens = response.usage.completion_tokenscost = calculate_cost(response)strResponse = json.dumps(response)# Set OpenTelemetry attributesspan = trace.get_current_span()if span:span.set_attribute("completion_count", counters['completion_count'])span.set_attribute("token_count", token_count)span.set_attribute("prompt_tokens", prompt_tokens)span.set_attribute("completion_tokens", completion_tokens)span.set_attribute("model", response.model)span.set_attribute("cost", cost)span.set_attribute("response", strResponse)return responsereturn wrapper
# Monkey-patch the openai.Completion.create function
openai.Completion.create = count_completion_requests_and_tokens(openai.Completion.create)

通过将所有这些数据添加到我们的 Span，我们实际上可以将其发送到我们的 OpenTelemetry OTLP 端点（在本例中它将是 Elastic 的）。 这样做的好处是你可以轻松使用数据进行搜索或构建仪表板和可视化。 在最后一步中，我们还要计算成本。 我们通过实现以下函数来实现这一点，该函数将计算对 OpenAI API 的单个请求的成本。

def calculate_cost(response):if response.model in ['gpt-4', 'gpt-4-0314']:cost = (response.usage.prompt_tokens * 0.03 + response.usage.completion_tokens * 0.06) / 1000elif response.model in ['gpt-4-32k', 'gpt-4-32k-0314']:cost = (response.usage.prompt_tokens * 0.06 + response.usage.completion_tokens * 0.12) / 1000elif 'gpt-3.5-turbo' in response.model:cost = response.usage.total_tokens * 0.002 / 1000elif 'davinci' in response.model:cost = response.usage.total_tokens * 0.02 / 1000elif 'curie' in response.model:cost = response.usage.total_tokens * 0.002 / 1000elif 'babbage' in response.model:cost = response.usage.total_tokens * 0.0005 / 1000elif 'ada' in response.model:cost = response.usage.total_tokens * 0.0004 / 1000else:cost = 0return cost

Elastic 来拯救

一旦我们捕获了所有这些数据，就可以在 Elastic 中享受一些乐趣了。 在 Discover 中，我们可以看到使用 OpenTelemetry 库发送的所有数据点：

有了这些标签，构建仪表板就变得非常容易。 看一下我之前构建的这个（也已并入到我的 GitHub 存储库）：

我们还可以看到 OpenAI 服务的 transactions、延迟以及与 ChatGPT 服务调用相关的所有 span。

在 transaction 视图中，我们还可以看到特定 OpenAI 调用花费了多长时间：

此处对 OpenAI 的某些请求花费了超过 3 秒的时间。 ChatGPT 可能非常慢，因此我们必须了解其速度有多慢以及用户是否感到沮丧。

概括

我们研究了通过 OpenTelemetry 和 Elastic 监控 ChatGPT。 ChatGPT 是一种全球现象，毫无疑问它会不断发展壮大，很快每个人都会使用它。 由于获取响应的速度可能很慢，因此人们能够了解使用此服务的任何代码的性能至关重要。

还有成本问题，因为了解这项服务是否会侵蚀你的利润以及你所要求的服务是否能为你的业务带来利润非常重要。 在当前的经济环境下，我们必须关注盈利能力。

在这里查看该解决方案的代码。 请随意使用 “monitor” 库来检测你自己的 OpenAI 代码。

有兴趣了解有关 Elastic Observability 的更多信息吗？ 查看以下资源：

  • Elastic 可观测性简介
  • 可观察性基础培训
  • 观看 Elastic Observability 演示
  • 2023 年可观测性预测和趋势

并报名参加我们以 AWS 和 Forrester 为主题的 Elastic 可观测性趋势网络研讨会，不容错过！

在这篇博文中，我们可能使用了第三方生成式人工智能工具，这些工具由其各自所有者拥有和运营。 Elastic 对第三方工具没有任何控制权，我们对其内容、操作或使用不承担任何责任，也不对你使用此类工具可能产生的任何损失或损害负责。 使用人工智能工具处理个人、敏感或机密信息时请务必谨慎。 你提交的任何数据都可能用于人工智能培训或其他目的。 无法保证你提供的信息将得到安全或保密。 在使用之前，你应该熟悉任何生成式人工智能工具的隐私惯例和使用条款。

Elastic、Elasticsearch 和相关标志是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。 所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。

原文：Monitor OpenAI API and GPT models with OpenTelemetry and Elastic — Elastic Search Labs

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/695837.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Docker本地部署Rss订阅工具并实现公网远程访问

Docker本地部署Rss订阅工具并实现公网远程访问

文章目录 1. Docker 安装2. Docker 部署Rsshub3. 本地访问Rsshub4. Linux安装Cpolar5. 配置公网地址6. 远程访问Rsshub7. 固定Cpolar公网地址8. 固定地址访问 Rsshub是一个开源、简单易用、易于扩展的RSS生成器，它可以为各种内容生成RSS订阅源。 Rsshub借助于开源社…
阅读更多...
如何在OpenWRT安装内网穿透工具实现远程访问本地搭建的web网站界面

如何在OpenWRT安装内网穿透工具实现远程访问本地搭建的web网站界面

文章目录 前言1. 检查uhttpd安装2. 部署web站点3. 安装cpolar内网穿透4. 配置远程访问地址5. 配置固定远程地址 前言 uhttpd 是 OpenWrt/LuCI 开发者从零开始编写的 Web 服务器，目的是成为优秀稳定的、适合嵌入式设备的轻量级任务的 HTTP 服务器，并且和…
阅读更多...
【k近邻】Kd树构造与最近邻搜索示例

【k近邻】Kd树构造与最近邻搜索示例

【k近邻】 K-Nearest Neighbors算法原理及流程 【k近邻】 K-Nearest Neighbors算法距离度量选择与数据维度归一化 【k近邻】 K-Nearest Neighbors算法k值的选择 【k近邻】 Kd树的构造与最近邻搜索算法 【k近邻】 Kd树构造与最近邻搜索示例 近邻法的实现需要考虑如何快速搜索个最…
阅读更多...
第5讲:数组

第5讲:数组

第5讲:数组 1. 数组的概念2. 一维数组的创建和初始化2.1 数组创建2.2 数组的初始化2.3 数组的类型 3. ⼀维数组的使用3.1 数组下标3.2 数组元素的打印3.3 数组的输入 4. ⼀维数组在内存中的存储5. sizeof计算数组元素个数6. 二维数组的创建6.1 二维数组的概念6.2 二维数组的创建…
阅读更多...
npm i卡在 idealTree buildDeps没反应的解决方案

npm i卡在 idealTree buildDeps没反应的解决方案

通过git clone拉下项目后，进行项目的初始化下包时，发现npm i 并没有反应（如图）： 关键点：IdealTree 1.网络问题 确保你的网络连接正常，能够正常访问 npm 仓库。有时网络问题可能导致包无法正确…
阅读更多...
游戏同步+游戏中的网络模块

游戏同步+游戏中的网络模块

原文链接：游戏开发入门（九）游戏同步技术_游戏数据同步机制流程怎么开发-CSDN博客 游戏开发入门（十）游戏中的网络模块_游戏开发组网-CSDN博客 3.同步技术的基本常识： a.同步给谁？某个用户&…
阅读更多...
骨传导蓝牙耳机哪个好？六大精选购买技巧与规避常见陷阱指南

骨传导蓝牙耳机哪个好？六大精选购买技巧与规避常见陷阱指南

随着无线技术的飞速进步，蓝牙耳机已穿插在我们日常生活的每一处，成为常用的无线设备之一。而骨传导蓝牙耳机这一新科技产物近年来崭露头角。采用骨传导技术的耳机能通过头骨直接将声音传送至内耳，激活听觉神经，让声音直达听觉中枢…
阅读更多...
http和https的区别（简述）

http和https的区别（简述）

HTTP（HyperText Transfer Protocol）和HTTPS（HTTP Secure）都是用于在客户端和服务器之间传输数据的协议，但它们在安全性方面有重要的区别。 1.HTTP: 概述： HTTP是一种用于传输超文本的协议（超文…
阅读更多...
opencv从视频文件读取视频内容，从摄像头读取保存视频内容

opencv从视频文件读取视频内容，从摄像头读取保存视频内容

文章目录 一、argparse模块1. 定义2. 讲解 二、读取、处理、保存图片1.读取图片2.灰度处理3.保存图片 三、读取摄像头、视频文件1.从摄像头读取2.从视频文件读取视频内容3.保存从摄像头读取的视频 一、argparse模块 1. 定义 （1）argparse模块使编写用户…
阅读更多...
S-35390A计时芯片介绍及开发方案

S-35390A计时芯片介绍及开发方案

计时芯片 S-35390A芯片是计时芯片，一般用来计算时间。低功耗，宽电压，受温度影响小，适用于很多电路。它有一个问题，不阻止用户设置不存在的时间，设置进去之后计时或者闹钟定时会出错。 规格书阅读 首先我…
阅读更多...
【网站项目】560考试预约管理

【网站项目】560考试预约管理

🙊作者简介：拥有多年开发工作经验，分享技术代码帮助学生学习，独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。🌹赠送计算机毕业设计600个选题excel文件，帮助大学选题。赠送开题报告模板&#xff…
阅读更多...
2024.2.21 C++QT 作业

2024.2.21 C++QT 作业

思维导图 练习题 1>使用手动连接，将登录框中的取消按钮使用qt4版本的连接到自定义的槽函数中，在自定义的槽函数中调用关闭函数，将登录按钮使用qt5版本的连接到自定义的槽函数中，在槽函数中判断ui界面上输入的账号是否为"…
阅读更多...
道本合规管理|| 欧盟对苹果公司的重罚与合规警示

道本合规管理|| 欧盟对苹果公司的重罚与合规警示

近日，外媒广泛报道了欧盟委员会预计将对美国科技巨头苹果公司开出约5亿欧元的罚单。这一决定源于苹果公司在音乐流媒体服务领域的反竞争行为，违反了欧盟严格的反垄断法规。这一事件不仅揭示了企业在全球化经营中面临的合规挑战，也为我们提供了…
阅读更多...
自存 angular material design 表单输入框lable右对齐样式

自存 angular material design 表单输入框lable右对齐样式

单个输入框的文字lable放输入框左边实现 material design 的组件库示例没有文字描述放左边的样式 ,所以mat-lable并没有放在mat-form-field中 <div class"input-container col-6"><mat-label>商品售价<span class"text-error">*</spa…
阅读更多...
Unity中，C#的事件与委托区别和经典实例

Unity中，C#的事件与委托区别和经典实例

文章目录 实例1&#xff1a;委托&#xff08;Delegate&#xff09;的基本用法实例2&#xff1a;事件&#xff08;Event&#xff09;的声明与订阅实例3&#xff1a;Unity引擎中的委托实例 - UI Button.onClick实例4&#xff1a;事件&#xff08;Event&#xff09;的安全性实例5&…
阅读更多...
AJAX.

AJAX.

概念:AJAX&#xff1a;异步的 JavaScript 和 XML AJAX作用: 1.与服务器进行数据交换: 通过AJAX可以给服务器发送请求&#xff0c;并获取服务器响应的是数据 使用了AJAX和服务器进行通讯&#xff0c;就可以使用HTML和AJAX来替换JSP页面了 2.异步交互:可以在不重新加载整个页面的…
阅读更多...
(C++) 详解内存地址空间

(C++) 详解内存地址空间

详解内存空间 0. 概述 一个C/C 程序&#xff0c;编译之后&#xff0c;形成的程序&#xff0c;在执行期间&#xff0c;内存中不仅存在一块区域用于存放代码&#xff0c;还有一些其他的区域用于使用&#xff0c;本节会详解C/C内部所使用的内存地址空间&#xff0c;关于各内存的…
阅读更多...
63-JQuery语法，选择器，事件，方法，遍历循环each，attr()，.prop()，JQuery操作DOM

63-JQuery语法，选择器，事件，方法，遍历循环each，attr()，.prop()，JQuery操作DOM

1.一个JS库，用js封装很多的方法放到一个文件里面，直接拿了用就可以 文件名带min是压缩过的不带min是没压缩过的 2.JQuery语法 通过选取HTML元素，并对选取的元素执行某些操作 基础语法：$(selector).action() <!-- 需要把JQuery文件先引入才能用 --><script src…
阅读更多...
IDEA 2021.3激活

IDEA 2021.3激活

1、打开idea&#xff0c;在设置中查找Settings/Preferences… -> Plugins 内手动添加第三方插件仓库地址&#xff1a;https://plugins.zhile.io搜索&#xff1a;IDE Eval Reset 插件进行安装。应用和使用&#xff0c;如图
阅读更多...
探秘SuperCLUE-Safety：为中文大模型打造的多轮对抗安全新框架

探秘SuperCLUE-Safety：为中文大模型打造的多轮对抗安全新框架

探秘SuperCLUE-Safety&#xff1a;为中文大模型打造的多轮对抗安全新框架 进入2023年以来&#xff0c;ChatGPT的成功带动了国内大模型的快速发展&#xff0c;从通用大模型、垂直领域大模型到Agent智能体等多领域的发展。但是生成式大模型生成内容具有一定的不可控性&#xff0c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023