数据库保证数据准确性的措施有哪些

数据库保证数据准确性的措施有哪些,第1张

数据的准确性无非就是两个方面:1、数据源本身准确无误;2、使用数据源的逻辑准确无误

1、对于数据源本身质量,由于数据分析师接触到的数据基本上是经过了数据清洗、数仓建模之后的数据,换言之,已经是加工后的数据,已经处于数据链的下游,所以数据准确性更多的是数仓层面保证,数据分析师要做的就是根据自己的业务sense对数据做核验,发现数据中是否有异常数据

2、对于计算逻辑,还可以分为数据表逻辑和清洗规则了解,以及自己算的指标准确性,具体来说:1)要清楚所用数据表的逻辑和清洗规则,保证取了对的数据;2)要保证自己的计算逻辑无误,比如数据是否可累加,保证自己算对了指标。

数据完整性一般包括域完整性、实体完整性、参照完整性三部分。

域完整性就是字段的取值范围是合法的,在指定的取值范围内,用check来定义;

实体完整性就是每个关系表都要有主键,且不能是空的,不能有重复记录;

参照完整性就是指外键要和另外一个表对应的主键值相同,且两者必须同时在各自的表中出现;

我只能说这么多了,具体的话看书本的例子,有实例能使你更加明白,在这里说再多也没用,呵呵!

1.数据脱敏

数据脱敏是保证数据安全的最基本的手段,脱敏方法有很多,最常用的就是使用可逆加密算法,对入仓每一个敏感字段都需要加密。比如手机号,邮箱,身份z号,yhk号等信息

2.数据权限控制

需要开发一套完善的数据权限控制体系,最好是能做到字段级别,有些表无关人员是不需要查询的,所以不需要任何权限,有些表部分人需要查询,除数据工程师外,其他人均需要通过OA流程进行权限审批,需要查看哪些表的哪些字段,为什么需要这个权限等信息都需要审批存档。

3.程序检查

有些字段明显是敏感数据,比如身份z号,手机号等信息,但是业务库并没有加密,而且从字段名来看,也很难看出是敏感信息,所以抽取到数据仓库后需要使用程序去统一检测是否有敏感数据,然后根据检测结果让对应负责人去确认是否真的是敏感字段,是否需要加密等。

4.流程化 *** 作

流程化主要是体现在公司内部取数或者外部项目数据同步,取数的时候如果数据量很大或者包含了敏感信息,是需要提OA 审批流程的,让大家知道谁要取这些数据,取这些数据的意义在哪,出了问题可以回溯,快速定位到责任人。开发外部项目的时候,不同公司之间的数据同步,是需要由甲方出具同意书的,否则的话风险太大。

5.敏感SQL实时审查及 *** 作日志分析

及时发现敏感sql的执行并询问责任人,事后分析 *** 作日志,查出有问题的 *** 作。

6.部门重视数据安全

把数据安全当做一项KPI去考核,让大家积极的参与到数据安全管理当中去。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/10772701.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-11
下一篇 2023-05-11

发表评论

登录后才能评论

评论列表(0条)

保存