基于SLS构建RDS审计合规监控

简介: 数据库是企业业务的数据核心,其安全方面的问题在传统环境中已经成为泄漏和被篡改的重要根源。因此,对数据库的操作行为尤其是全量 SQL 执行记录的审计日志,就显得尤为重要。

背景

数据库是企业业务的数据核心,其安全方面的问题在传统环境中已经成为泄漏和被篡改的重要根源。因此,对数据库的操作行为尤其是全量 SQL 执行记录的审计日志,就显得尤为重要。
SLS联合RDS推出RDS SQL审计功能,将RDS SQL审计日志实时投递到SLS中;SLS提供实时查询、可视化分析、告警等功能。
RDS SQL审计日志记录了对数据库执行的所有操作,这些信息是系统通过网络协议分析所得,对系统CPU消耗极低,不影响SQL执行效率。RDS SQL审计日志包括但不限于如下操作:
• 数据库的登录和退出操作。
• DDL(Data Definition Language)操作:对数据库结构定义的SQL语句,包括CREATE、ALTER DROP、TRUNCATE、COMMENT等。
• DML(Data Manipulation Language)操作:SQL操作语句,包括SELECT、INSERT、UPDATE、DELETE等。
• 其他SQL执行操作,包括任何其他通过SQL执行的控制,例如回滚、控制等。
• SQL执行的延迟、执行结果、影响的行数等信息。
此外,SLS还针对RDS的操作合规进行监控,及时发现RDS的配置异常,确保数据库安全。

RDS日志审计--采集

目前RDS SQL审计日志采集到SLS有两种方式:
• 云产品采集渠道
优点:少量且同地域实例采集场景下配置简单。
缺点:不支持跨地域、跨账号;不支持实例动态发现。如果需要跨地域跨账号,需要自建数据加工任务。
• 日志审计渠道
优点:
支持跨账号、跨地域中心化采集,便于审计报表分析。
支持实例发现,一键开启自动采集;并支持通过采集策略控制采集范围。
缺点:
需要AK授权或手动授权来开启日志审计APP。
会自动开启采集实例的SQL洞察功能,且不支持自动关闭。如果需要关闭SQL洞察,需要首先整体关闭日志审计RDS采集功能或者通过采集策略控制实例不采集,然后到RDS控制台逐个实例关闭SQL洞察。

 

云产品采集渠道

单账号同地域采集场景(只能将RDS审计日志采集到同地域的日志库中)

• SLS控制台首页“接入数据”区域,选择“RDS 审计”。下文以采集张家口实例为例说明。

 


• 因为采集的实例位于张家口,所以需要在张家口新建或者选择已存在的project及logstore。
• 注意:采集的RDS实例审计日志仅支持同地域采集。

 


• “数据源配置”页,完成RAM授权后可以查看张家口所有的RDS实例信息,默认日志投递功能是关闭的。之后可以根据日志采集需求,勾选相应的“开通投递”按钮,开启对应实例的日志投递功能。

 

• 至此就完成了SQL审计日志的采集开启,跳转到上述配置的logstore下即可查看RDS实例日志。

 

跨地域、跨账号采集场景

因为云产品采集渠道有只能将RDS审计日志采集到同地域的日志库的限制,所以要打破这个限时实现跨账号跨地域采集,就必须要自建跨域或者跨账号数据加工任务。
因为自建数据加工任务需要比较复杂的授权,这里不再详细介绍。如有需要,详见:
1、配置自定义角色授权
2、最佳实践:跨地域传输数据
3、最佳实践:多目标Logstore数据分发 中的“跨账号分发”部分。

 

由此可见,云产品采集渠道仅仅在简单采集场景下具有便捷采集的优势,但是在处理跨地域、跨账号采集时不仅数据同步链路较长,而且还需要比较复杂的授权过程;而且当实例变更(甚至新的实例出现)时,需要手动维护同步链路,维护成本极高。而日志审计渠道恰恰可以很好的解决跨地域、跨账号采集,实例变更维护成本高的痛点。

日志审计采集渠道

日志审计授权

建议使用阿里云RAM用户操作。
• 创建阿里云RAM用户,并赋予该用户AliyunRAMFullAccess、AliyunLogFullAccess权限,创建AK。
• 登录上述RAM用户,在SLS控制台选择“日志审计服务”。

 

• 首次进入需要进行授权才能开启。这里输入第一步创建的AK,并选择审计日志存储的中心Project地域即可。

 


• 如果出现如下页面说明已经授权完成。之后就可以根据采集日志的需要开启对应的云产品日志,例如这里需要采集操作审计(Actiontrail)日志及RDS SQL审计日志。

 

配置SQL审计采集

本文重点描述如何开启RDS SQL审计日志并通过采集策略管理日志采集范围。SQL审计日志开启首先需要进行采集策略配置。完整的语法说明详见采集策略文档。这里列出一些常用的策略方案。
• 采集特定区域的实例日志。例如:只采集杭州、上海的实例。

 

• 不采集特定标签的实例。例如:给测试实例打上type标签取值test。

 

• 只采集限定的实例日志。

 

SQL审计

 

RDS日志审计--报表

基于SLS的SQL审计日志提供了3张审计报表:
• RDS审计中心:主要展现了所有数据库的SQL执行指标、分布、趋势等信息。例如:PV、UV、操作数据库/数据表等的统计。
• RDS审计安全中心:主要展现了所有数据库的失败SQL和危险SQL,以及大批量删除或修改事件的详情、分布和趋势等。
• RDS审计性能中心:主要展现了所有数据库的具体性能指标,例如SQL执行峰值、SQL执行的平均时间、慢SQL的具体分布与来源等。

RDS日志审计--告警

SLS日志审计新发布了内置告警规则,其中针对于RDS SQL审计提供了19条内置规则(后续还会不断扩展)。

规则查看

通过SLS首页-> 日志审计服务-> 控制台左侧审计告警 -> 规则配置/告警规则,就可以进入审计告警规则配置页面。规则主要分为两类:
• SQL审计类规则(RDS安全):主要针对SQL的执行异常进行监控。例如,慢SQL、或批量删除等。
• 前提:通过日志审计APP开通RDS SQL审计日志采集。
• RDS操作合规规则:主要是基于CIS规则,对RDS的操作配置进行监控。
• 前提:通过日志审计APP开通Actiontrail操作日志采集。

 

告警配置

行动策略配置
• 钉钉渠道通知
• 下图样例:所有告警都发送钉钉通知。

 

• 短信/语音渠道通知:
• 下图样例:当告警级别大于严重时,向“SLS审计内置用户组”发送语音告警。具体的通知人的电话等情况,详见创建用户和用户组。

 

告警样例

接下来,我们用两个具体的例子来介绍RDS审计告警的使用。

SQL审计样例--慢SQL审计

开启告警
• 根据用户需要设置告警参数。例如,慢SQL检测阈值,过滤白名单等。
• 点击开启按钮,告警即可开启。

 

 

构造异常
• 测试数据集

# 表结构
mysql> desc test;
+-----------------+------------------+------+-----+---------+----------------+
| Field           | Type             | Null | Key | Default | Extra          |
+-----------------+------------------+------+-----+---------+----------------+
| id              | int(10) unsigned | NO   | PRI | NULL    | auto_increment |
| title           | varchar(100)     | NO   | MUL | NULL    |                |
| author          | varchar(40)      | NO   |     | NULL    |                |
| submission_date | date             | YES  | MUL | NULL    |                |
+-----------------+------------------+------+-----+---------+----------------+
4 rows in set (0.04 sec)# 数据
mysql> select * from test limit 5;
+----+--------+---------+-----------------+
| id | title  | author  | submission_date |
+----+--------+---------+-----------------+
|  1 | title1 | author1 | 2021-01-12      |
|  2 | title1 | author1 | 2021-01-12      |
|  3 | title1 | author1 | 2021-01-12      |
|  4 | title1 | author1 | 2021-01-12      |
|  5 | title1 | author1 | 2021-01-12      |
+----+--------+---------+-----------------+

• 慢SQL

# 使用索引字段group by
mysql> select title, count(1) as cnt from test where submission_date='2021-01-12' group by title;
+--------+-------+
| title  | cnt   |
+--------+-------+
| title1 | 59392 |
| title2 |  8448 |
+--------+-------+
2 rows in set (0.06 sec)# 索引字段经过运算后group by,使得索引失效。
mysql> select title, count(1) as cnt from test where day(submission_date)=12 group by title;
+--------+-------+
| title  | cnt   |
+--------+-------+
| title1 | 59392 |
| title2 |  8448 |
+--------+-------+
2 rows in set (0.58 sec)

• 告警监控到慢SQL,并发起告警通知。

 

RDS操作合规样例--实例访问白名单异常配置

 

作者:烨陌

原文链接

本文为阿里云原创内容,未经允许不得转载

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/514184.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

云效DevOps实践-如何基于云效实现测试自动化集成和分析

简介: 对于现代软件研发来说,持续、快速、高质量、低风险地交付需求特性,是业务对研发的主要诉求。而要做到这一点,除了要有良好的架构设计、卓越的工程能力,快速可靠的测试反馈也是其非常重要的一环,达到这…

spring 使用其他类protected方法_Java操作bean、属性、方法的使用工具类

在实际的项目开发中,反射操作类的实例、属性赋值、执行方法是常规的操作,虽然spring提供了比较完整的API来执行上述操作,不过在实际的应用中,spring的函数隐藏比较深,比较分散,小伙伴们可能懒得花时间去寻找…

2021年阿里云采购季大促主会场全攻略

在疫情的影响下,企业都在谋求各种转机,探寻各种转型之路,为助力企业复工复产低成本上云,日前阿里云开年采购季优惠活动于3月1日正式开启。 从主会场页面来看,活动分为三个阶段: 3月1日-3月16日&#xff1a…

应云而生,幽灵的威胁 - 云原生应用交付与运维的思考

简介: 过去的 2020 是充满不确定性的一年,但也是充满机遇的一年。突发的新冠疫情为全社会的数字化转型按下加速键。云计算已经不再是一种技术,而是成为支撑数字经济发展和业务创新的关键基础设施。在利用云计算重塑企业 IT 的过程中&#xff…

技术干货 | mPaaS 小程序高玩带你起飞:客户端预置小程序无视网络质量

简介: 弱网拉包无障碍,深度提升用户体验 传统的小程序技术容易受到网络环境影响,当网络质量不佳时可能导致拉取不到小程序包的情况。通过预置小程序,即可规避该问题。本文介绍了预置小程序的原理和预置小程序的实现过程。 什么是预…

Delta Lake在Soul的应用实践

简介: 传统离线数仓模式下,日志入库前首要阶段便是ETL,我们面临如下问题:天级ETL任务耗时久,影响下游依赖的产出时间;凌晨占用资源庞大,任务高峰期抢占大量集群资源;ETL任务稳定性不…

亚马逊云科技中国线上峰会开幕,发力汽车产业链、少年人工智能等

亚马逊云科技于9月9日-14日举办以“构建新格局 重塑云时代”为主题的中国线上峰会,推出涵盖行业视野、技术创新、开发者和开源、云安全、以及人工智能的5大主题演讲、覆盖云计算各细分领域的8大技术分论坛,以及汇聚各行业上云趋势及创新实践的10大行业分…

【产品能力深度解读】连续入围Gartner魔力象限的Quick BI有何魔力?

简介: 国际权威分析机构Gartner发布2021年商业智能和分析平台魔力象限报告,阿里云Quick BI再度入选,并继续成为该领域魔力象限唯一入选的中国企业。 Quick BI凭借在增强分析能力上的持续投入、数据中台矩阵化产品优势和电商行业的专业度&…

mysql的json函数与实例_Mysql实例详解Mysql中的JSON系列操作函数

《Mysql实例详解Mysql中的JSON系列操作函数》要点:本文介绍了Mysql实例详解Mysql中的JSON系列操作函数,希望对您有用。如果有疑问,可以联系我们。MYSQL必读前言MYSQL必读JSON是一种轻量级的数据交换格式,采用了独立于语言的文本格式,类似XML,…

256变4096:分库分表扩容如何实现平滑数据迁移?

简介: 本文作者就一个高德打车弹外订单系统进行了一次扩分库分表和数据库迁移。 一、 背景 2020年,笔者负责的一个高德打车弹外订单系统进行了一次扩分库分表和数据库迁移。该订单系统整体部署在阿里云上,服务使用阿里云ECS部署,…

OpenYurt 如何 “0 侵入” 攻破云边融合难点

简介: 随着 5G、IoT、直播、CDN 等行业和业务的发展,越来越多的算力和业务开始下沉到距离数据源或者终端用户更近的位置,以期获得很好的响应时间和成本,这是一种明显区别于传统中心模式的计算方式——边缘计算。 随着 5G、IoT、直…

Python - 深夜数据结构与算法之 Graph

目录 一.引言 二.图的简介 1.Graph 图 2.Undirected graph 无向图 3.Directed Graph 有向图 4.DFS / BFS 遍历 三.经典算法实战 1.Num-Islands [200] 2.Land-Perimeter [463] 3.Largest-Island [827] 四.总结 一.引言 Graph 无论是应用还是算法题目在日常生活中比较…

Docker Desktop宣布收费;腾讯7月已申请注册WECHAT CLOUD商标;MongoDB成为当前最具价值开源软件公司...

NEWS本周新闻回顾Docker Desktop 宣布收费近日 Docker 官方宣布一项新的动作,即将产品订阅划分为个人、专业、团队和商业不同版本。如果企业规模在 250 名员工以上或年收入超过 1000 万美元的公司想要使用 Docker Desktop,那么必须使用付费订阅。付费订阅…

Serverless 2.0,鸡蛋还是银弹?

简介: 本篇旨在介绍 Serverless 如今应用到应用(非病句)的各种困境,以及帮助用户如何去规避一些问题,提前了解方向。 浪潮 从 2014 年 Serverless 冒头至今,已经有无数的勇士在前面探路,阿里、…

基础组件完善的今天,如何通过业务组件提效?

简介: 无论是在前端刀耕火种的 jQuery/YUI 时代,还是到现在基于数据驱动 UI 的 React/Vue 时代,物料/组件一直是前端永恒的话题。基于大量重复逻辑的封装可以很显而易见地提升前端 UI 的构建效率,简单而直接,因此无论技…

​做安全操作系统,这位技术老兵是认真的!

受访者 | 王文东记者 | 伍杏玲出品 | CSDN云计算(ID:CSDNcloud)近年来国际形势变化莫测,基础软件作为建设国家信息系统的核心,其自主研发能力备受关注与热议。作为企业和个人开发者,我们如何打破当前国产基…

基于 Flink SQL 构建流批一体的 ETL 数据集成

简介: 如何利用 Flink SQL 构建流批一体的 ETL 数据集成。 本文整理自云邪、雪尽在 Flink Forward Asia 2020 的分享,该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成, 文章的主要内容如下: 数据仓库与数据集成…

入选 SIGMOD2021 的时间序列多周期检测通用框架 RobustPeriod 如何支撑阿里业务场景?

简介: 本文除了介绍RobustPeriod的核心技术亮点,还将重点解释如何将它构筑成服务来解决阿里云的业务痛点。 近日,由阿里云计算平台和阿里云达摩院合作的时序多周期检测相关论文RobustPeriod: Robust Time-Frequency Mining for Multiple Peri…

《新程序员002》图书正式上市! 从“新数据库时代”到“软件定义汽车”

20年前,伴随着互联网打开信息化大门,技术人成为新时代的开拓者。在时代的召唤下,CSDN于2001年推出国内首个面向IT人员的专业杂志——《程序员》,成为一代代开发者的技术启蒙。20年后的今天,人工智能、云计算、大数据等…

Kubernetes 稳定性保障手册 -- 极简版

简介: Kubernetes 在生产环境中的采用率越来越高,复杂度越来越高,由此带来的稳定性保障的挑战越来越大。 Kubernetes 在生产环境中的采用率越来越高,复杂度越来越高,由此带来的稳定性保障的挑战越来越大。 对于基于 K…