异常数据是不满足数据标准、不符合业务实质的客观存在的数据,如某位员工的国籍信息错误、某位客户的客户名称信息错误等。
数据在底层数据库多数是以二维表格的形式存储,每个数据格存储一个数据值。若想从众多数据中识别出异常数据,就需要通过数据质量规则给数据打上标签。
数据质量规则是判断数据是否符合数据质量要求的逻辑约束。在整个数据质量监控的过程中,数据质量规则的好坏直接影响监控的效果,因此如何设计数据质量规则很重要。
依据数据在数据库落地时的质量特性及数据质量规则类型,设计如下四类数据质量分类框架。
1)单列数据质量规则。 关注数据属性值的有无以及是否符合自身规范的逻辑判断。
2)跨列数据质量规则。关注数据属性间关联关系的逻辑判断。
3)跨行数据质量规则。关注数据记录之间关联关系的逻辑判断。
4)跨表数据质量规则。关注数据集关联关系的逻辑判断。
华为结合ISO8000数据质量标准、数据质量控制与评估原则(国标SY/T 7005—2014),共设计了15类规则,具体如图所示。
图-数据质量规则
规则类型的详细说明如表所示。
表-规则分类内容及示例
当我们发现某个数据格的数据异常时,往往会思考这一列其他的数据格是否也存在同样的问题,是否应该对这一列的其他数据格进行检查。因此数据质量规则一般以业务属性(即数据列)为对象,数据质量规则类型为颗粒度整体数据质量状况,又可清晰定位异常数据、识别严重问题、制定解决方案,同时数据质量规则也不会因互相交织而过于庞大,方便后续的运营维护。