数据脱敏的处理方法

背景：

需要在非生产环境下对敏感信息进行数据脱敏，实现敏感隐私数据的可靠保护。

脱敏数据特征：

1.保持原有数据特征：例如身份z由17位数字本体码和1位检验码组成。

2.保持数据之间一致性：出生年月和出生日期之间的关系。

3.保持业务规则的关联性。

4.多次脱敏之间的数据一致性。

脱敏的方法：

1.数据替换

要求：用设置的固定虚构值替换真值。例如将手机号码统一替换为 13800013800

2.无效化

要求：通过对数据值得截断、加密、隐藏等方式使敏感数据脱敏，使其不再具有利用价值，例如将地址以 ****** 代替真值。数据无效化与数据替换所达成的效果基本类似。

3.随机化

要求：用随机数据代替真值，保持替换值的随机性以模拟样本的真实性。例如用随机生成的姓和名代替真值。

【注意】这个例子中我们针对数据脱敏引入了外部字典表，实际情况中可以根据数据脱敏要求，随时引入任意外部字典表，通过数据的随机化组合，实现替换真值数据的脱敏处理。

4.偏移和取整

要求：通过随机移位改变数字数据，例如日期 2018-01-02 8:12:25 变为 2018-01-02 8:00:00，偏移取整在保持了数据的安全性的同时保证了范围的大致真实性，此项功能在大数据利用环境中具有重大价值。

5.掩码屏蔽

要求：掩码屏蔽是针对账户类数据的部分信息进行脱敏时的有力工具，比如yhk号或是身份z号的脱敏。将身份z号的出生日期进行掩码屏蔽脱敏。使用left()函数截取身份z号的左边 6 位 + 字符串 ********+right()函数截取身份z号右边 4 位替换源身份z字符串。

6.灵活编码

要求：在需要特殊脱敏规则时，可执行灵活编码以满足各种可能的脱敏规则。比如用固定字母和固定位数的数字替代合同编号真值。将合同编号进行自定义编码脱敏。自定义编码规则：4 位固定码 + 当前年份 + 源目标字符串 4 位号码 +9 位数值组成。

脱敏相关文章参考：https://www.jianshu.com/p/43d9882ed24a

在拼多多的后台设置地址里，打印机脱敏的设置方法：

1.登录拼多多后台，依次点击“店铺设置”-“配置管理”，找到“打印设置”；

2.再依次点击“打印机脱敏规则管理”-“设置脱敏规则”并勾选相应的脱敏设置；

3.完成后提交即可。

为尽量避免经我们手的用户信息数据泄漏，从而提及到互联网中内部防止隐私数据泄露的手段： 数据脱敏

先来看看什么是数据脱敏？数据脱敏也叫数据去隐私化，在我们给定脱敏规则和策略的情况下，对敏感数据比如 手机号 、 yhk号 等信息，进行转换或者修改的一种技术手段，防止敏感数据直接在不可靠的环境下使用

想政府、医疗行业、金融机构、移动运营商是比较早开始应用数据脱敏的，因为他们所掌握的都是用户最核心的私密数据，如果泄漏后果是不可估量的

数据脱敏的应用在生活中是比较常见的，比如我们在淘宝买东西订单详情中，商家账户信息会备用 * 遮挡，保障了商户隐私不泄露，这是一种数据脱敏方式

数据脱敏有分为静态数据脱敏（ SDM ）和动态数据脱敏（ DDM ）

静态数据脱敏（ SDM ）：适用于数据抽取出生产环境脱敏后分发至测试、开发、培训、数据分析等场景

有时我们可能需要将生产环境的数据 copy 到测试、开发库中，以来排查问题或进行数据分析，但出于安全考虑又不能将敏感数据存储于非生产环境，此时就要把敏感数据从生产环境脱敏完毕之后再在非生产环境使用

这样脱敏后的数据与生产环境隔离，满足业务需要的同时又保障了生产数据的安全

如图所示：将用户的真实 姓名 、 手机号 、 身份z 、 yhk号 通过 替换 、 吴小华 、 乱序 、 对称加密 等方案进行脱敏改造

动态数据脱敏（ DDM ）：一般用在生产环境，访问敏感数据时实时进行脱敏，因为有时在不同情况下对于同一敏感数据的读取，需要做不同级别的脱敏处理，列如：不同角色、不同权限所执行的脱敏方案也不用

数据脱敏系统可以按照不同业务场景自行定义和编写脱敏规则，可以针对库表的某个敏感字段，进行数据的不落地脱敏

数据脱敏的方式有很多种，接下来一下数据为准

1、无效化

无效化方案在处理待脱敏的数据时，通过对字段数据值进行 截断 、 加密 、 隐藏 等方式让敏感数据脱敏，使其不在具有利用价值。一般采用特殊字符（ * 等）代替真值，这种隐藏敏感数据的方式简单，但缺点是用户无法得知原数据的格式，如果想要获取完整信息，要让用户授权查询

比如我们将身份z号用*替换真实数字就变成了"220724 ****** 3523"，非常简单

2、随机值

随机值替换，字母变为随机字母，数字变为随机数字，文字随机替换文字的方式来改变敏感数据，这种方案的优点在于可以在一定程度上保留原有数据的格式，往往这种方法用户不易察觉

以 name 和 idnumber 字段进行随机化脱敏，而名字姓、氏随机化稍有特殊，需要有对应姓氏字典数据支持

3、数据替换

数据替换与1的无效化方式比较相似，不同的事这里不以特殊字符进行遮挡，而是用一个设定的虚拟值替换真值。比如说我们将手机号统一设置成 “13651300000”

4、对称加密

对称加密是一种特殊的可逆脱敏方法，通过加密密钥和算法对敏感数据进行加密，密文格式与原数据在逻辑规则上一致，通过密钥解密可以恢复原数据，要注意的就是密钥的安全性

5、平均值

平均值方案经常用在统计场景，针对数值型数据，我们先计算它们的均值，然后使脱敏后的值在均值附近随机分布，从而保持数据的总和不变

对价格字段 price 做平均值处理后，字段总金额不变，但脱敏后的字段值都在均值60附近

6、偏移和取整

这种方式通过随机移位改变数字数据，偏移取整在保证了数据的安全性的同时保证了范围的大致真实性，比之前几种方案更接近真实数据，在大数据分析场景中意义比较大

比如下边的日期字段 create_time 中 2020-12-08 15:12:25 变为 2018-01-02 15:00:00

数据脱敏规则在实际应用中往往都是多种方案配合使用，以此来达到更高的安全级别

---