1、首先,打开电脑上面的一个EXCEL表格柱形图,点击进入。
2、然后在任意的数字上面右键单击,选择d出来的选项设置数据标签格式。
3、在最右边栏的界面里面选择文本选项,再选择文本框。
4、然后进入到文本框的界面,单击下拉的小三角。选择自定义数字角度,并输入想要设置的数值。
5、最后在图形上面就得到自己想要的效果了。
数据倾斜通常分为两种情况,一是各实例上面的数据不均匀,个别实例数据量特别多;
二是某个实例上的热点数据多,导致的访问量倾斜。发生了数据倾斜,那么保存了大量
数据或者是保存了热点数据的实例的处理压力就会增大,速度变慢,甚至还可能会引起
这个实例的内存资源耗尽导致宕机风险。
如果某个实例上保存了bigkey,会导致这个实例的数据量及相应的内存资源消耗增加,
bigkey的 *** 作容易导致主线程IO的阻塞,bigkey最好能够从业务层面避免掉,如果是
集合类型的bigkey,建议拆分成多个集合多实例保存,再根据业务逻辑做相应的映射。
solt分配不均,就根据具体的使用的中间件查看slot分布情况进而做具体slot迁移
hashtag指的是对key的部分用{}圈起来,例如dramaId:episode:1232变成
dramaId:episode:{1232},在计算 key 的 CRC16 值时,只对HashTag花括号中的
key内容进行计算,这有什么用处呢?就是key不一样但是hashtag内容一样的key
会被分配到同一个slot,它主要是用在 Redis Cluster 和 Codis中,支持事务 *** 作
和范围查询。因为 Redis Cluster 和 Codis 本身并不支持跨实例的事务 *** 作和
范围查询,当业务应用有这些需求时,就只能先把这些数据读取到业务层进行事务
处理,或者是逐个查询每个实例,得到范围查询的结果,所以我们可以使用 Hash Tag
把要执行事务 *** 作或是范围查询的数据映射到同一个实例上,这样就能很轻松实现
事务或范围查询,潜在的风险就是会导致大量的数据被分配到同一实例,导致数据
倾斜和集群负载不均衡,所以在hashtag和业务上的事务范围查询,得我们自己做
取舍,建议还是避免hashtag
在某个实例上的商品或者某些影视剧集突然火了,那么就导致这个实例的访问量突增,
好在热点数据通常只是读,所以我们可以采用热点数据多副本的方式应对,我们把热点
数据复制多份,然后把key加个前缀,使其分布在不同的slot,查询的时候做好相应逻辑,
那么即可把热点数据的压力分摊到多实例上
数据倾斜是由于某个task被分配过多数据,而比其他task需要更多的执行时间(如几十倍,几百倍),导致其他task执行完进入漫长等待的一种现象。
数据倾斜只会发生在多对多或一对多的数据分发的过程中,如spakr的shuffle *** 作中,在MapReduce中的reduce阶段,
常见的算子类型为:join,group by 和窗口函数如row_number 。
这是因为这些算子会进行shuffle *** 作,产生一个key值,如group by的字段,join的on字段,
为了利用多台机器的并发能力,会按这个key值取数范围进行均衡的分发,每台机器尽量分到相同长度的取值范围的key,
然后将这些有key值的数据的数据传输过去。
这时如果某个key范围内的数据量大大多于其他范围的数据量,就会发生数据倾斜。
解决办法:
解决数据倾斜的思路在于,先找到产生数据倾斜的算子 *** 作,然后针对具体的算子,解决它单个key范围被分到过多的数据的问题,
按key的类型,由简便到复杂依次有以下几种解决思路:
1.直接消灭倾斜的key。
2.直接避免shuffle *** 作,没有了shuffle *** 作也就没有了数据倾斜
3.通过增多task的数量,减小单个task内的数据量,这个方法适用于某个key范围的数据多的情况。
4.通过特殊处理key值,减小单个task内的数据量,这个方法适用于某些特定的key值的数据过多的情况
第一个解决思路比较简单,找到倾斜的key,直接过滤掉。就没有倾斜问题了。这种 *** 作的适用范围很窄。比如一些空字符串,一些缺省值等等,本身在业务上能接受它们不参与 *** 作。
如果发现造成倾斜的key是这些,就可以直接过滤,非常简单粗暴,性价比最高。
如果该key不能被过滤,就考虑能否将shuffle *** 作避免掉。
比如join的时候使用广播的方式,将其中一张表广播到所有的机器节点上,这样一个shuffle *** 作就变成了一个map *** 作。
广播的方式(map join)适用于join的时候某一张表的数据量比较小的时候,如果两张表都很大,则不适用这种方式。
如果不能避免shuffle *** 作也不能过滤倾斜的key值,那么我们就要从key值的类型入手,如果倾斜的key值是连续的,不是由单个key值引起的,就可以增大task的数量,
比如,修改shuffle产生的partition参数为更大,就可以使同一个范围内的key值分到不同机器上,
或者使key值重新排列,倒排或者其他方式,使他们不再连续,分配到不同的机器上,就可以防止倾斜。
上述3个 *** 作都比较简单高效,但是应用的场景有限,如果该key不能被过滤,也不能避免shuffle,而且是1个到多个不连续的key引起的,就需要做比较复杂的 *** 作了。
如果是group by,就可以用两阶段聚合法,
将group by a 改成 group by a,b ,然后再group by a
或者增加一个随机数x,将a通过concat(x,a)改成b,将group by a 改成 group by b, 然后再聚合一次去掉x后的b,group by substr(b,length(x))
如果是join *** 作,就需要分开join,将倾斜的数据和不倾斜的数据分成两部分。
然后两站表不倾斜的部分join得到第一张表。
倾斜的数据,第一张较大的表:增加一个随机数1-x,随机数取决于你想把数据切成几份。
得到 concat(x,a).
另一张较小的表将每一行复制到x份(总共增加x-1份),然后按顺序标上序号1到x,如下所示:
源数据,倾斜的key值为a和b,
大表:aaaaa bbbbb
小表:aaaa bbbb
原来的join最后得到40条数据. 每个key分到20条
处理过key的表,
大表:1a 2a 2a 1a 2a 1b 2b 3b 3b 2b (增加一个随机数前缀1-3)
小表:
1a 2a 3a 1a 2a 3a 1a 2a 3a 1a 2a 3a 这n条数据都按顺序附加一个1~x的前缀
1b 2b 3b 1b 2b 3b 1b 2b 3b 1b 2b 3b
生成40条数据,每个key平均分到6.66条.
6.66条的计算公式是5/3*4, 5是大表的key的条数,有5个,增加随机数之后,被分成了3份,得到了5/3 条,小表虽然也加了随机数但是复制了x份,
所以小表的key还是4个,所以是:5/3*4
最后将倾斜部分的数据和不倾斜的部分的数据分别join之后再union起来就可以了。
当然,解决数据倾斜的不止这些方法,这些方法只是常用的,本质还是打散集中在某台机器,某个task的的数据量。只要能达到这个目的,就可以。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)