excel中柱状图上显示的相对应的数据怎么倾斜45度

excel中柱状图上显示的相对应的数据怎么倾斜45度,第1张

1、首先,打开电脑上面的一个EXCEL表格柱形图,点击进入。

2、然后在任意的数字上面右键单击,选择d出来的选项设置数据标签格式。

3、在最右边栏的界面里面选择文本选项,再选择文本框。

4、然后进入到文本框的界面,单击下拉的小三角。选择自定义数字角度,并输入想要设置的数值。

5、最后在图形上面就得到自己想要的效果了。

数据倾斜通常分为两种情况,一是各实例上面的数据不均匀,个别实例数据量特别多;

二是某个实例上的热点数据多,导致的访问量倾斜。发生了数据倾斜,那么保存了大量

数据或者是保存了热点数据的实例的处理压力就会增大,速度变慢,甚至还可能会引起

这个实例的内存资源耗尽导致宕机风险。

如果某个实例上保存了bigkey,会导致这个实例的数据量及相应的内存资源消耗增加,

bigkey的 *** 作容易导致主线程IO的阻塞,bigkey最好能够从业务层面避免掉,如果是

集合类型的bigkey,建议拆分成多个集合多实例保存,再根据业务逻辑做相应的映射。

solt分配不均,就根据具体的使用的中间件查看slot分布情况进而做具体slot迁移

hashtag指的是对key的部分用{}圈起来,例如dramaId:episode:1232变成

dramaId:episode:{1232},在计算 key 的 CRC16 值时,只对HashTag花括号中的 

key内容进行计算,这有什么用处呢?就是key不一样但是hashtag内容一样的key

会被分配到同一个slot,它主要是用在 Redis Cluster 和 Codis中,支持事务 *** 作

和范围查询。因为 Redis Cluster 和 Codis 本身并不支持跨实例的事务 *** 作和

范围查询,当业务应用有这些需求时,就只能先把这些数据读取到业务层进行事务

处理,或者是逐个查询每个实例,得到范围查询的结果,所以我们可以使用 Hash Tag 

把要执行事务 *** 作或是范围查询的数据映射到同一个实例上,这样就能很轻松实现

事务或范围查询,潜在的风险就是会导致大量的数据被分配到同一实例,导致数据

倾斜和集群负载不均衡,所以在hashtag和业务上的事务范围查询,得我们自己做

取舍,建议还是避免hashtag

在某个实例上的商品或者某些影视剧集突然火了,那么就导致这个实例的访问量突增,

好在热点数据通常只是读,所以我们可以采用热点数据多副本的方式应对,我们把热点

数据复制多份,然后把key加个前缀,使其分布在不同的slot,查询的时候做好相应逻辑,

那么即可把热点数据的压力分摊到多实例上

数据倾斜是由于某个task被分配过多数据,而比其他task需要更多的执行时间(如几十倍,几百倍),导致其他task执行完进入漫长等待的一种现象。

数据倾斜只会发生在多对多或一对多的数据分发的过程中,如spakr的shuffle *** 作中,在MapReduce中的reduce阶段,

常见的算子类型为:join,group by 和窗口函数如row_number 。

这是因为这些算子会进行shuffle *** 作,产生一个key值,如group by的字段,join的on字段,

为了利用多台机器的并发能力,会按这个key值取数范围进行均衡的分发,每台机器尽量分到相同长度的取值范围的key,

然后将这些有key值的数据的数据传输过去。

这时如果某个key范围内的数据量大大多于其他范围的数据量,就会发生数据倾斜。

解决办法:

解决数据倾斜的思路在于,先找到产生数据倾斜的算子 *** 作,然后针对具体的算子,解决它单个key范围被分到过多的数据的问题,

按key的类型,由简便到复杂依次有以下几种解决思路:

1.直接消灭倾斜的key。

2.直接避免shuffle *** 作,没有了shuffle *** 作也就没有了数据倾斜

3.通过增多task的数量,减小单个task内的数据量,这个方法适用于某个key范围的数据多的情况。

4.通过特殊处理key值,减小单个task内的数据量,这个方法适用于某些特定的key值的数据过多的情况

第一个解决思路比较简单,找到倾斜的key,直接过滤掉。就没有倾斜问题了。这种 *** 作的适用范围很窄。比如一些空字符串,一些缺省值等等,本身在业务上能接受它们不参与 *** 作。

如果发现造成倾斜的key是这些,就可以直接过滤,非常简单粗暴,性价比最高。

如果该key不能被过滤,就考虑能否将shuffle *** 作避免掉。

比如join的时候使用广播的方式,将其中一张表广播到所有的机器节点上,这样一个shuffle *** 作就变成了一个map *** 作。

广播的方式(map join)适用于join的时候某一张表的数据量比较小的时候,如果两张表都很大,则不适用这种方式。

如果不能避免shuffle *** 作也不能过滤倾斜的key值,那么我们就要从key值的类型入手,如果倾斜的key值是连续的,不是由单个key值引起的,就可以增大task的数量,

比如,修改shuffle产生的partition参数为更大,就可以使同一个范围内的key值分到不同机器上,

或者使key值重新排列,倒排或者其他方式,使他们不再连续,分配到不同的机器上,就可以防止倾斜。

上述3个 *** 作都比较简单高效,但是应用的场景有限,如果该key不能被过滤,也不能避免shuffle,而且是1个到多个不连续的key引起的,就需要做比较复杂的 *** 作了。

如果是group by,就可以用两阶段聚合法,

将group by a 改成 group by a,b  ,然后再group by a

或者增加一个随机数x,将a通过concat(x,a)改成b,将group by a 改成 group by b, 然后再聚合一次去掉x后的b,group by substr(b,length(x)) 

如果是join *** 作,就需要分开join,将倾斜的数据和不倾斜的数据分成两部分。

然后两站表不倾斜的部分join得到第一张表。

倾斜的数据,第一张较大的表:增加一个随机数1-x,随机数取决于你想把数据切成几份。

得到 concat(x,a). 

另一张较小的表将每一行复制到x份(总共增加x-1份),然后按顺序标上序号1到x,如下所示:

源数据,倾斜的key值为a和b,

大表:aaaaa bbbbb 

小表:aaaa bbbb

原来的join最后得到40条数据. 每个key分到20条

处理过key的表,

大表:1a 2a 2a 1a 2a 1b 2b 3b 3b 2b  (增加一个随机数前缀1-3)

小表:

1a 2a 3a 1a 2a 3a 1a 2a 3a 1a 2a 3a 这n条数据都按顺序附加一个1~x的前缀

1b 2b 3b 1b 2b 3b 1b 2b 3b 1b 2b 3b

生成40条数据,每个key平均分到6.66条.

6.66条的计算公式是5/3*4,  5是大表的key的条数,有5个,增加随机数之后,被分成了3份,得到了5/3 条,小表虽然也加了随机数但是复制了x份,

所以小表的key还是4个,所以是:5/3*4

最后将倾斜部分的数据和不倾斜的部分的数据分别join之后再union起来就可以了。

当然,解决数据倾斜的不止这些方法,这些方法只是常用的,本质还是打散集中在某台机器,某个task的的数据量。只要能达到这个目的,就可以。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9966869.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-03
下一篇 2023-05-03

发表评论

登录后才能评论

评论列表(0条)

保存