巧用MapUtils工具类

javalangObject继承

     包:orgapachecommonscollections4MapUtils

常用方法:

    1:getString

            String MapUtilsgetSt5ring(Map<？super K，？> ,String key); 

            从而获取键所对对应的值,以null安全的方式从Map获取String

    2 :getBoolean

           Boolean getBoolean （ Map <？super K，？> map， K键）

            以null安全的方式从Map获取布尔值。

            如果值为a Boolean，则直接返回。如果值为a String且等于'true'，则忽略大小写true，否则        返回false。如果该值是一个Number整数零值返回 false并且非零返回true。否则，null返回。

    3:getInteger

    public static <K>  Integer getInteger （ Map <？super K，？> map， K键）

    以null安全的方式从Map获取整数。

    整数是从结果中获得的 getNumber(Map,Object) 。

    4: putAll

     Map <K，V>  putAll （ Map <K，V> map，  Object [] array）

将指定数组中的所有键和值放入映射中。

此方法是 MapputAll(javautilMap)  方法和构造函数的替代方法。它允许您从各种可能样式的对象数组构建映射。

如果对象数组中的第一个条目实现， MapEntry  或者 KeyValue 然后从该对象添加键和值。如果对象数组中的第一个条目是对象数组本身，则假定子数组中的索引0是键，索引1是该值。否则，数组将被视为备用索引中的键和值。

例如，要创建颜色映射：

Map colorMap = MapUtilsputAll（new HashMap（），new String [] [] {    {“RED”，“＃FF0000”}，    {“GREEN”，“＃00FF00”}，    {“BLUE”，“＃0000FF”} }）;

要么：

Map colorMap = MapUtilsputAll（new HashMap（），new String [] {    “RED”，“＃FF0000”，    “绿色”，“＃00FF00”，    “蓝色”，“＃0000FF” }）;

要么：

Map colorMap = MapUtilsputAll（new HashMap（），new MapEntry [] {    新的DefaultMapEntry（“RED”，“＃FF0000”），    新的DefaultMapEntry（“GREEN”，“＃00FF00”），    new DefaultMapEntry（“BLUE”，“＃0000FF”） }）;

5:emptyIfNull

Map <K，V>  emptyIfNull （ Map <K，V> map）

如果参数是null，则返回不可变的空映射，否则返回参数本身。

6: isEmpty

boolean  isEmpty （ Map <？，？> map）

空安全检查指定的映射是否为空。

Null返回true。

7:isNotEmpty

boolean  isNotEmpty （ Map <？，？> map）

空安全检查指定的映射是否为空。

Null返回false。

在交互式分析场景下，很多时候除了固定字段之外，还会有一些动态字段的需求。比如，在游戏场景下，需要动态存储用户每个游戏的play时长。

这种场景下，我们希望在一张表中同时存储固定字段和动态字段的信息，并且可以高效地使用动态字段做过滤查询。

CREATE TABLEuser_game_play

(

     mid UInt64,

   buvidString,

     game_play_durationMap(String, UInt32),

   log_dateString

)

ENGINE=MergeTree()

PARTITION BY log_date

ORDER BYmid;  

insert into user_game_play values (1, '123',  map(' 王者荣耀 ',3600, 'FGO', 1800), '2021-11-14');

SELECT game_play_duration[' 王者荣耀 '] AS duration  FROM testuser_game_play

┌─duration─┐

│    3600 │

└──────────┘

ClickHouse从 v211215-stable 版本开始支持Map类型（详见PR #1586 ），其读取key对应value的实现逻辑大致如下：

1 内部用两个数组(ColumnArray)分别存储key和value值，我们分别称之为 key_array和value_array。

2 对于Map的取值 *** 作（即map[‘key’] *** 作），先在从key_array中找到要找的key的下标，然后根据这个下标到value_array里获取对应的值。

具体实现细节详见源码 FunctionArrayElement::executeMap

从上述分析可知，Map类型的工作方式本质上和用两个数组分别存储key和value的方式是一样的。只是在功能上做了封装，提高了用户使用的便捷性，但在性能上并没有变化。

为了提升map *** 作的性能，我们在社区版本的Map类型基础上，给其加上了多种类型的skipping

index，包括 bloom_filter ，tokenbf_v1，ngrambf_v1

上面这三种skipping index本质上都是用bloom filter存储每个索引粒度的索引值。其中，tokenbf_v1和ngrambf_v1只支持String类型，bloom_filter可支持各种类型。

1 ngrambf_v1是对字符串中固定长度的substring做bloom filter存储和检索。

2 tokenbf_v1是对由非字母数字符号分隔开的token做bloom filter存储和检索。

3 bloom_filter则是直接对字段取值做bloom filter存储和检索。

在数据写入到Map类型字段时，所有的key会被抽取出来生成每个索引粒度对应的bloom filter。

对于针对Map类型字段的过滤条件，如：

     where game_play_duration[‘王者荣耀’] >= 1800 and game_play_duration[‘王者荣耀’] <=3600

会做以下处理：

1 从filtering condition中提取map的key。

2 分析过滤 *** 作符（如 = , >=, <=, >, <, like , in , not in），如果该过滤条件在map不包含对应key时不可能成立，则利用bloom filter过滤掉不可能包含对应key的数据块（索引粒度）。

具体实现细节详见源码PR #28634 。

CREATE TABLEuser_game_play

(

     mid UInt64,

     buvidString,

     game_play_durationMap(String, UInt32),

     log_dateString,

     Index idx game_play_duration TYPE bloom_filter GRANULARITY 2,

)

ENGINE=MergeTree()

PARTITION BY log_date

ORDER BY mid;

在我们的性能测试中，给Map类型添加skipping index可以收获的性能提升差异很大。

效果好的case可以十几到几十倍的性能提升，而效果不好的则没有明显提升。

跳数索引的过滤效果和两个数据特性相关：

1 索引值的cardinality：这个比较好理解，当索引值cardinality很小（比如性别，可取值只有男和女），那么过滤效果通常有限。

2 索引值的分布是否聚集：ClickHouse的跳数索引和主键索引一样，也是稀疏索引。当索引值分布非常离散时，即使包含查询值的记录占比很小，但可能每个数据块（索引粒度）都包含查询值，那么所有数据都需要读进内存做过滤判断。

ClickHouse社区版本中已经实现了一些map类型相关的函数，包括：

1 map : 基于传入的键值对生成Map类型对象。

2 mapKeys : 获取map对象的所有keys。

3 mapValues : 获取map对象的所有values

4 mapContains : 检查map对象是否包含指定的key。

更多map相关函数细节详见 这里 。

另外，我们添加了两个map函数mapContainsKeyLike和mapExtractKeyLike（已合并进社区版本，详见 这里 ） 。其中mapContainsKeyLike函数支持通过tokenbf_v1索引进行跳数过滤。

Map<String, Object> 集合本身是这样一直数据结构，貌似没有能直接转换为另一个对象的说法啊，如果转换的话，里面<key,value>如何处理了？

如果你想获得指定Object的对象，可以直接这样 *** 作：

Object=mapget(str);

以上就是关于巧用MapUtils工具类全部的内容，包括:巧用MapUtils工具类、Map类型：ClickHouse中对动态字段的支持、如何把一个Map<String, Object> 集合转换为一个对象, 在用get方法获取取他的值. 谢谢急等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！