PostgreSQL 进阶 - 模式匹配,过滤敏感数据,数据清理

1. 模式匹配

SELECT phone_number FROM customers;

在这里插入图片描述

使用正则表达式替换所有非数字字符
这样可以清理和标准化电话号码数据,去除任何非数字字符,只保留数字
UPDATE customers
SET phone_number =
REGEXP_REPLACE(phone_number, '[^0-9]', '', 'g')
WHERE phone_number ~ '[^0-9]';
  • 使用正则表达式 [^0-9] 匹配任何非数字字符,并将其替换为空字符串 ‘’。‘g’ 表示全局替换,即所有匹配的地方都会被替换。
  • phone_number ~ ‘[^0-9]’:这是一个正则表达式匹配条件,它匹配 phone_number 列中包含任何非数字字符的值。
SELECT phone_number FROM customers;

在这里插入图片描述

使用正则表达式匹配包含 10 个数字字符的电话号码,并将其格式化为 xxx-xxx-xxxx 的形式
UPDATE customers
SET phone_number =
REGEXP_REPLACE(phone_number, '([0-9]{3})([0-9]{3})([0-9]{4})',
'\1-\2-\3')
WHERE phone_number ~'^[0-9]{10}$';
  • 使用正则表达式 ([0-9]{3})([0-9]{3})([0-9]{4}) 匹配电话号码的特定模式
  • 使用 \1-\2-\3 替换该模式,其中 \1、\2 和 \3 是正则表达式中捕获的三组数字
  • phone_number ~ ‘^[0-9]{10}$’:这是一个正则表达式匹配条件,它匹配 phone_number 列中包含且只包含 10 个数字字符的值。

在这里插入图片描述

2. 过滤敏感数据

在这里插入图片描述

SELECT
CONCAT(firstname, ' ', UPPER(SUBSTRING(lastname, 1, 1)), '.')
AS fullname,
email,
(SELECT CONCAT('***-***-',
RIGHT(phone_number, 4)) AS masked_phone_number)
FROM customers;
  • SUBSTRING() 函数用于提取 lastname 的第一个字符。第一个1 是起始位置参数,指定要提取的子字符串的起始位置。在这里,它是 lastname 字符串中的第一个字符。
    第二个1 是长度参数,指定要提取的子字符串的长度。在这里,它表示只提取一个字符。
  • 查询结果将以 ***-***- 开头,后跟原始 phone_number 值的最后四位数字。
    在这里插入图片描述

3. 数据清理

SELECT order_id, street, city, state, zip_code FROM orders;

在这里插入图片描述

UPDATE orders
SET
street = INITCAP(TRIM(street)),
city = INITCAP(TRIM(city)),
state = UPPER(TRIM(state)),
zip_code = SUBSTRING(REGEXP_REPLACE(TRIM(zip_code), '[^0-9]', '', 'g'), 1, 5)
WHERE (
street != INITCAP(TRIM(street)) OR
city != INITCAP(TRIM(state)) OR
state != UPPER(TRIM(state)) OR
SUBSTRING(REGEXP_REPLACE(TRIM(zip_code), '[^0-9]', '', 'g'), 1, 5) != zip_code OR
LENGTH(zip_code) != 5);
  • street = INITCAP(TRIM(street)),将街道名字的首字母大写,并去除首尾空格。
  • 去除邮政编码中的非数字字符,并截取前5位数字作为新的邮政编码
    在这里插入图片描述

4. 产生虚拟数据

SELECT * FROM bookmarks;

在这里插入图片描述

INSERT INTO bookmarks (url, name, description)
SELECT 'http://example.com/' || generate_series AS url,
'Bookmark ' || generate_series AS name,
'Description for Bookmark ' || generate_series AS description FROM generate_series(1,50) AS generate_series
RETURNING *;

通过从1到50生成一系列数字,将生成的数字与预定义的字符串连接起来,并将结果分别插入“url”、“name” 和 “description” 字段。
在这里插入图片描述

5. 密码加密

SELECT * FROM users;

在这里插入图片描述

ALTER TABLE users
ADD COLUMN password_hash VARCHAR(255),
ADD COLUMN password_salt VARCHAR(255);

在这里插入图片描述

UPDATE users
SET password_salt = substr(md5(random()::text), 1, 16);
  • 将“password_salt”字段设置为一个随机生成的字符串,该字符串是通过将一个随机数转换为文本格式后进行MD5加密,并截取前16位字符得到的。
UPDATE users
SET password_hash = md5(concat(password_salt, password))
WHERE password_hash IS NULL;
  • 将“password_hash”字段设置为“password_salt”和“password”字段拼接后进行MD5加密得到的结果。

在这里插入图片描述

6. 取消正在运行的queries

SELECT pid, query, xact_start, wait_event, wait_event_type
FROM pg_stat_activity
WHERE backend_type = 'client backend'
AND wait_event IS NOT NULL;
  • 从“pg_stat_activity”视图中选择特定列的数据。它选择了“pid”(进程ID)、“query”(查询语句)、“xact_start”(事务开始时间)、“wait_event”(等待事件)和“wait_event_type”(等待事件类型)列。
    在这里插入图片描述
SELECT pg_cancel_backend(3236);
  • 执行这条 SQL 语句后,具有进程 ID 为 3236 的进程将会被取消。
    在这里插入图片描述
SELECT pid, query, xact_start, wait_event, wait_event_type
FROM pg_stat_activity
WHERE backend_type = 'client backend'
AND wait_event IS NOT NULL;

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/128230.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C/C++笔试练习】new和deleted底层原理、静态数据成员、运算符重载、只能使用new创建的类、模版声明、另类加法、走方格的方案数

文章目录 C/C笔试练习选择部分(1)new和deleted底层原理(2)静态数据成员(3)运算符重载(4)程序分析(5)静态数据成员(6)只能使用new创建的…

【Qt】QMainWidget中的栏和菜单

默认结构最复杂的标准窗口 提供了菜单栏, 工具栏, 状态栏, 停靠窗口菜单栏: 只能有一个, 创建的最上方工具栏: 可以有多个, 默认提供了一个, 窗口的上下左右都可以停靠状态栏: 只能有一个, 窗口最下方停靠窗口: 可以有多个, 默认没有提供, 窗口的上下左右都可以停靠 菜单栏 在…

【实战Flask API项目指南】之六 数据库集成 SQLAlchemy

实战Flask API项目指南之 数据库集成 本系列文章将带你深入探索实战Flask API项目指南,通过跟随小菜的学习之旅,你将逐步掌握 Flask 在实际项目中的应用。让我们一起踏上这个精彩的学习之旅吧! 前言 在上一篇文章中,我们实现了…

day53【子序列】1143.最长公共子序列 1035.不相交的线 53.最大子序和

文章目录 1143. 最长公共子序列1035.不相交的线53. 最大子序和 1143. 最长公共子序列 题目链接:力扣链接 讲解链接:代码随想录讲解 题意:给定两个字符串 text1 和 text2,返回这两个字符串的最长 公共子序列 的长度。如果不存在 …

微信自动回复有什么好处?怎么设置?

微信自动回复有什么好处? 首先,它可以帮助我们节省时间和精力。当我们无法立即回复消息时,自动回复可以及时告知对方我们的状况,避免对方的焦虑和不便。 其次,自动回复可以增强沟通效率。无论是工作还是个人生活中&a…

gtsam初探以及结合LIO-SAM算法的一些理解

概述 GTSAM(Georgia Tech Smoothing and Mapping)是基于因子图的C库,本篇基于GTSAM对因子图优化做一个简单了解和梳理,并以LIO-SAM为例进一步分析因子图优化在SLAM中的应用。 参考链接: [0]gtsam官方文档 [1]https:/…

最小化安装移动云大云操作系统--BCLinux-R8-U2-Server-x86_64-231017版

有个业务系统因为兼容性问题,需要安装el8.2的系统,因此对应安装国产环境下的BCLinuxR8U2系统来满足用户需求。BCLinux-R8-U2-Server是中国移动基于AnolisOS8.2深度定制的企业级X86服务器通用版操作系统。本文记录在DELL PowerEdge R720xd服务器上最小化安…

Redis-分布式锁

Redis-setnx实现分布式锁 Redis实现分布式锁主要利用Redis的setnx命令。setnx是SET if not exists(如果不存在,则SET)的简写。(NX是互斥、EX是设置超时时间) 但是如上会面临一个问题,当业务执行时间太长,导致业务还没执行完锁已到期&#xf…

学习笔记二十九:K8S配置管理中心Configmap实现微服务配置管理

Configmap概述 Configmap概述Configmap能解决哪些问题?Configmap应用场景局限性 Configmap创建方法命令行直接创建通过文件创建指定目录创建configmap 编写configmap资源清单YAML文件使用Configmap通过环境变量引入:使用configMapKeyRef通过环境变量引入…

Azure机器学习 - 在 Azure 机器学习中上传、访问和浏览数据

目录 一、环境准备二、设置内核三、下载使用的数据四、创建工作区的句柄五、将数据上传到云存储空间六、访问笔记本中的数据七、创建新版本的数据资产八、清理资源 机器学习项目的开始阶段通常涉及到探索性数据分析 (EDA)、数据预处理(清理、特征工程)以…

Java语法 - 01

Java基础 Java 是一种广泛使用的高级编程语言,最初由Sun Microsystems于1995年发布。它被设计为具有简单、可移植和面向对象的特性,以满足跨平台应用程序开发的需求。以下是一些关于 Java 的简介: 跨平台性:Java 程序可以在不同…

基于QT的简易计算器(一)

目录 0 简介1.设计原理1.1界面设计1.1.1界面基本布局1.1.2 界面调整和美化1.1.2 控件重命名 1.2 连接信号和槽1.3 软件逻辑1.3.1四则运算1.3.2 连续运算(不完全)的原理1.3.3 清屏1.3.4 退格1.3.5 等于1.3.6 小数点 2.总结与拓展 0 简介 最近在学QT&…

Django实战项目-学习任务系统-自定义URL拦截器

接着上期代码框架,6个主要功能基本实现,剩下的就是细节点的完善优化了。 首先增加URL拦截器,你不会希望没有登录用户就可以进入用户主页各种功能的,所以增加URL拦截器可以解决这个问题。 Django框架本身也有URL拦截器&#xff0…

【Python入门二】安装第三方库(包)

安装第三方库/包 1 使用pip安装2 使用PyCharm软件安装3 离线安装,使用whl文件安装参考 在Python中,有多种安装第三方库的方法,下面是一些常用的方法: 1 使用pip安装 pip是Python中最常用的包管理工具,也是最常用的在线…

代码随想录 Day35 动态规划04 01背包问题和完全背包问题 LeetCode T416 分割等和子集

背包问题 说到背包问题大家都会想到使用动规的方式来求解,那么为什么用动规呢,dp数组代表什么呢?初始化是什么,遍历方式又是什么,这篇文章笔者将详细讲解背包问题的经典例题0-1背包问题和完全背包问题的解题方式,希望能帮助到大家 1.暴力方式 有人一提到背包问题就只会使用动态…

OpenGL ES入门教程(一)编写第一个OpenGL程序

OpenGL ES入门教程(一)编写第一个OpenGL程序 前言 从本文开始我将参考学习OpenGL ES应用开发实践指南 Android卷 [(美)KevinBrothaler著](提取码: 394m),并基于自己的理解以更加通俗易懂的方式…

近独立粒子的最概然分布

近独立粒子:粒子之间相互作用微弱基本粒子中,自旋量子数为半整数的有 电子 、 质子 、中子、中微子自旋量子数为整数的有 光子、pi介子 经典力学描述系统的微观运动状态 经典力学中,全同粒子可以分辨量子力学,全同粒子不可以分辨微…

2023-11-02 LeetCode每日一题(环和杆)

2023-11-02每日一题 一、题目编号 2103. 环和杆二、题目链接 点击跳转到题目位置 三、题目描述 总计有 n 个环,环的颜色可以是红、绿、蓝中的一种。这些环分别穿在 10 根编号为 0 到 9 的杆上。 给你一个长度为 2n 的字符串 rings ,表示这 n 个环在…

BetterDisplay Pro v1.4.15(显示器管理管理软件)

BetterDisplay Pro是一款屏幕显示优化工具,可用于Windows和Mac操作系统。它可以帮助用户调整屏幕的亮度、对比度、色彩等参数,以获得更好的视觉体验。此外,BetterDisplay Pro还提供了一些额外的功能,如屏幕分割、窗口管理、快捷键…

Django3框架-(3)-[使用websocket]:使用channels实现websocket功能;简化的配置和实际使用方式

概述: 对于Django使用channels实现websocket的功能,之前就写了几篇博文了。随着在项目的使用和实际维护来说,重新设置了相关处理方法。 一般来说,前后端都只维护一个全局的连接,通过携带数据来判断具体的操作&#x…