阿里云日志服务Logstore与MySQL数据库关联

前提条件

  • 已采集日志到日志服务。更多信息,请参见数据采集。
  • 已为日志字段创建索引。更多信息,请参见创建索引。
  • 已有可用的MySQL数据库。更多信息,请参见创建数据库和账号。

操作步骤

1、在MySQL数据库中,创建用户属性表(即chiji_user表)。

2、添加白名单。如果是rds,设置ip白名单;如果是ecs上自建的mysql,设置安全组规则。

3、创建ExternalStore。

3.1.centos7安装日志服务CLI。更多信息,请参见CLI概述。

# 查看python版本:python --version
# 当前python版本:Python 2.7.5# 安装cli:https://help.aliyun.com/zh/sls/developer-reference/install-log-service-cli# 因为当前python版本为Python 2.7.5,所以使用pip安装
pip install aliyun-log-python-sdk aliyun-log-cli -U --no-cache# 验证安装结果
aliyunlog --version# 配置cli:https://help.aliyun.com/zh/sls/developer-reference/configure-log-service-cli
aliyunlog configure "【AccessKey ID】" "【AccessKey Secret】" 【Endpoint】

3.2.创建配置文件

touch /home/config.json

3.3.在/home/config.json文件中添加如下脚本,并根据实际情况替换参数配置。

{
"externalStoreName":"【storename名称,由于示例关联查询使用了chiji_user,所以此处填写chiji_user】",
"storeType":"rds-vpc",
"parameter":{"region":"【cn-qingdao】","vpc-id":"【vpc-m5eq4irc1pucp*******】","instance-id":"【i-m5eeo2whsn*******】","host":"localhost","port":"3306","username":"【用户】","password":"【密码】","db":"【库名】","table":"【表名】"}
}

3.4.创建ExternalStore。

aliyunlog log create_external_store --project_name="【日志服务Project名称】" --config="file:///home/config.json" 

4、使用JOIN语法进行联合查询分析。

4.1.登录日志服务控制台。

4.2.在Project列表区域,单击目标Project。

4.3.在日志存储 > 日志库页签中,单击目标Logstore。

4.4.执行查询分析语句。

指定日志中的userid字段和数据库表中的uid字段关联Logstore和MySQL数据库。

* | select case gender when 1 then '男性' else '女性' end as gender , count(1) as pv from log l join chiji_user u on l.userid = u.uid group by gender order by pv desc

说明:“…from log l join chiji_user u…”,

log指当前Logstore,

chiji_user指/home/config.json文件的externalStoreName对应的值

重要

  • 仅支持Logstore与MySQL数据库小表(数据量小于20 MB)进行联合查询。
  • 查询和分析语句中,Logstore必须写在join关键字前面,ExternalStore写在join关键字后面。
  • 查询和分析语句中,必须写ExternalStore名称,系统自动替换成MySQL数据库名+表名。请勿直接填写MySQL表名。

详见:Logstore和MySQL联合查询_用户指南_混合云存储CDS_企业版

5、保存查询分析结果到MySQL数据库中。【暂未将分析结果保存到mysql

5.1.在MySQL数据库中,创建名为report的数据表,该表存储每分钟的PV值。

5.2.参见步骤3为report表创建ExternalStore。

5.3.在日志服务Logstore的查询分析页面中,执行如下查询语句将分析结果保存到report表中。

详见:

如何实现日志服务Logstore与MySQL数据库关联分析功能_日志服务-阿里云帮助中心

如何安装日志服务命令行工具CLI_日志服务-阿里云帮助中心

Logstore和MySQL联合查询_用户指南_混合云存储CDS_企业版

阿里云提供的演示数据:SLS Playground | SLS

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/65016.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

上海的正西边有哪些城市

背景 上海一路向西,来一趟拉萨之行,那么上海出现,所经过的那么多城市,哪些是在上海的正西边呢? 画一幅地图 基于这个背景需求,我们需要拿来一幅地图,一看便知。下面的python代码生成了一幅地…

临时抱佛脚

马上就要面试了,心里面比较紧张~ 交换型数据结构 在进行网络消息处理的时候,经常会对发送过来的消息进行读写操作。采用普通的方法,需要将读到消息频繁的进行copy操作,这样无疑会降低系统的效率。交换型数据机构指的…

Ubuntu升级Cmake、gcc、g++

背景 最近要安装llvm,我选择的是从源码安装,所以要使用Cmake进行构建项目。但是服务器上的Cmake、gcc、g的版本都太低了,不符合要求,所以要对此进行升级。在本博客中采用的升级方法不一定是最好的方法(因为我也是参考…

跨数据中心Multi-Fabric解决方案:L2和L3网络的高效连接和扩展

云数据中心里,为什么需要DCI互通? 云化数据中心,网络资源通过虚拟化技术形成资源池,实现业务与物理网络解耦,通过网络虚拟化,物理网络资源可以被分成多个虚拟网络资源,从而提高网络资源的使用效…

操作系统的发展和分类

注意:每个阶段的主要优点都是解决了上个阶段的缺点 1.手工操作阶段 概括:一个用户在一段时间内独占全机,导致资源利用率极低,用户输入指令给机器,然后机器运行响应给用户。 2.批处理阶段 2.1单道批处理系统 优点&…

LLM学习《Prompt Engineering for Developer》

Prompt 如何构造好的Prompt 分割符&#xff1a;分隔符就像是 Prompt 中的墙&#xff0c;将不同的指令、上下文、输入隔开&#xff0c;避免意外的混淆。你可以选择用 &#xff0c;“”"&#xff0c;< >&#xff0c; &#xff0c;: 等做分隔符&#xff0c;只要能明确…

【LeetCode】85.最大矩形

题目 给定一个仅包含 0 和 1 、大小为 rows x cols 的二维二进制矩阵&#xff0c;找出只包含 1 的最大矩形&#xff0c;并返回其面积。 示例 1&#xff1a; 输入&#xff1a;matrix [["1","0","1","0","0"],["1&quo…

django后台启动CORS跨越配置

文章目录 背景什么是跨域问题&#xff1f;跨域问题的解决方案 Django 解决跨域问题 背景 什么是跨域问题&#xff1f; 跨域问题是指浏览器的同源策略限制了来自不同域的 AJAX 请求。 具体来说: 同源策略要求源相同才能正常进行 AJAX 通信。判断是否同源需要满足三个条件: 协…

图解 STP

网络环路 现在我们的生活已经离不开网络&#xff0c;如果我家断网&#xff0c;我会抱怨这什么破网络&#xff0c;影响到我刷抖音、打游戏&#xff1b;如果公司断网&#xff0c;那老板估计会骂娘&#xff0c;因为会影响到公司正常运转&#xff0c;直接造成经济损失。网络通信中&…

基于Matlab利用IRM和RRTstar实现无人机路径规划(附上源码+数据+说明+报告+PPT)

无人机路径规划是无人机应用领域中的关键问题之一。本文提出了一种基于IRM&#xff08;Informed RRTstar Method&#xff09;和RRTstar&#xff08;Rapidly-exploring Random Tree star&#xff09;算法的无人机路径规划方法&#xff0c;并使用Matlab进行实现。该方法通过结合I…

设计模式行为型-状态模式

文章目录 简介状态模式基础定义状态接口或抽象类实现具体状态类 上下文类与状态转换上下文类的定义和作用状态转换及触发条件 状态模式的优势与适用性优点一&#xff1a;可维护的代码优点二&#xff1a;清晰的状态管理适用场景一&#xff1a;对象拥有多个状态适用场景二&#x…

【Unity】常见的角色移动旋转

在Unity 3D游戏引擎中&#xff0c;可以使用不同的方式对物体进行旋转。以下是几种常见的旋转方式&#xff1a; 欧拉角&#xff08;Euler Angles&#xff09;&#xff1a;欧拉角是一种常用的旋转表示方法&#xff0c;通过绕物体的 X、Y 和 Z 轴的旋转角度来描述物体的旋转。在Un…

区块链技术与应用 - 学习笔记1【引言】

大家好&#xff0c;我是比特桃。本系列主要将我之前学习区块链技术时所做的笔记&#xff0c;进行统一的优化及整合。其中大量笔记源于视频课程&#xff1a;北京大学肖臻老师《区块链技术与应用》公开课。肖老师的课让我找回了求知若渴般的感觉&#xff0c;非常享受学习这门课的…

内存管理方式

内存管理 一、C/C内存分布1、内存空间的介绍2、示例题目3、示例题目图解 二、C语言动态内存管理方式1、代码2、介绍 三、C内存管理方式1、概念2、代码3、代码所代表的意义 四、new和delete操作自定义类型1、代码2、运行结果3、特点 五、operator new与operator delete函数1、概…

Eureka 注册中心的使用

环境 springboot springcloud Eureka-Server注册中心服务端 pom.xml导入依赖 <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-netflix-eureka-server</artifactId><version>2.2.7.RELEAS…

Go的数据结构-hashmap

开放寻址法和拉链法 runtime.hamp bucket的数据结构 bucket的指针指向这里 map初始化&#xff1a;make 和字面量 make初始化 新建一个hamp结尾体&#xff0c;计算大B&#xff0c;创建一个桶数组 字面量初始化 map的并发解决 sync.map

无涯教程-JavaScript - QUARTILE函数

QUARTILE函数取代了Excel 2010中的QUARTILE.INC函数。 描述 该函数返回数据集的四分位数。四分位数通常用于销售和调查数据中,以将人群分为几类。 语法 QUARTILE (array,quart)争论 Argument描述Required/OptionalArrayThe array or cell range of numeric values for whi…

怎么提取视频中的音乐保存到本地?其实方法很简单

当你想要使用视频中的音乐时&#xff0c;你可以考虑将它从视频中提取出来。这可以用于制作音频样本集&#xff0c;制作铃声或其他音频素材&#xff0c;或者向其他人展示视频的音乐部分而无需显示视频本身。如果你是一位音乐制作人员&#xff0c;你可能会需要一些特定类型的音效…

CP Autosar-Ethernet配置

文章目录 前言一、Eth层级结构介绍二、Autosar实践2.1 ETH Driver2.2 Eth InterfaceEth Interface Autosar配置2.3 TcpIp模块Eth TcpIp Autosar配置2.4 SoAdEth SoAd配置前言 因汽车E/E架构和功能的复杂度提升而带来的对车辆数据传输带宽提高和通讯方式改变(基于服务的通讯-S…

JavaScript(函数,作用域和闭包)

目录 一&#xff0c;什么是函数1.1&#xff0c;常用系统函数1.2&#xff0c;函数声明 1.3&#xff0c;函数表达式二&#xff0c;预解析2.1&#xff0c;函数自调用 2.2&#xff0c;回调函数三&#xff0c;变量的作用域3.1&#xff0c;隐式全局变量 四&#xff0c;作用域与块级作…