thriftswift:对swift2thrift-generator-cli IDL生成工具的改进

概述swift2thrift-generator-cli是thrift/swift提供的一个IDL文件命令行生成工具,它可以根据一个java服务接口类(interface,class)生成对应的IDL文件。 对于基于java做thrift框架的开发项目来说，这可是个神器，如果你的服务端是java开发的，就不需要手工写IDL文件(反正打死我也是不会手写的，太多了)，使用这个命令行工具，可以一秒钟生成ID

swift2thrift-generator-cli是thrift/swift提供的一个IDL文件命令行生成工具,它可以根据一个java服务接口类(interface,class)生成对应的IDL文件。
对于基于java做thrift框架的开发项目来说，这可是个神器，如果你的服务端是java开发的，就不需要手工写IDL文件(反正打死我也是不会手写的，太多了)，使用这个命令行工具，可以一秒钟生成IDL，再用另一个工具swift-generator-cli就可以将根据生成的IDL生成java clIEnt/service调用代码了,如果你修改了数据结构或服务接口定义也只需要把这两个步骤重做一遍就好了。这个过程我在之前的一篇博文有详细介绍，参见《thrift:swift 命令行生成 IDL文件及Client java代码过程》。

IDL是thrift的接口定义语言，有了IDL格式的接口定义脚本，就可以生成不同开发语言的thrift代码，官网说明参见 《Thrift interface description language》

问题描述

但是后续的开发过程中发现使用swift2thrift-generator-cli生成IDL有一个问题：
对于primitive的对象封装类型(Integer,Long,Boolean),不论是做为字段还是做为服务方法的参数，swift2thrift-generator-cli都把它当做primitive类型处理了。

比如一个服务方法:

public test(Integer arg);

在生成thrift clIEnt代码时，对应的接口方法变成了

@ThriftMethod(value = "test")public test(@ThriftFIEld(value=1,name="arg",requiredness=requiredness.NONE) final int arg);

一个类型:

@ThriftStructpublic final TestBean{    private Integer ID;    @ThriftFIEld(1)    public Integer getID(){        return ID;    }    @ThriftFIEld    public voID setID(Integer ID){        this.ID = ID;    }}

在生成thrift clIEnt代码时，对应的类变成了:

@ThriftStruct("TestBean")public final TestBean{    private int ID;    @ThriftFIEld(value=1,name="ID",requiredness=requiredness.NONE)    public int getID(){        return ID;    }    @ThriftFIEld    public voID setID(int ID){        this.ID = ID;    }}

仔细想想这是个大问题：比如我想传一个null参数,在这种情况下这就不可能了,
在很多情况下null并非完全没有意义，如果传一个0当做null,需要clIEnt/service双方约定好才行，而且很多情况下0有可能是个有意义的值。
换个别的值？还是有歧义的可能，所以无论如何应该在thrift这一层解决这个问题而不是让应用项目来解决。
有没有解决办法?

手工解决办法

当然有，地球人都知道的，手工解决办法很简单在服务方法或类定义时加上requiredness.OPTIONAL定义，告诉swift2thrift-generator-cli这个字段是可选的。
比如上面的test服务方法可以改为

public test( @ThriftFIEld(value=1,requiredness=requiredness.OPTIONAL)Integer arg);

这样在生成的thrift 接口代码中arg参数的类型就是希望的Integer。

如果你的服务接口很简单只有很少的方法，涉及的类也不多，那么这个办法，可以解决你的问题。

我需要自动化解决办法

但是如果服务接口非常庞大，涉及的类也很多，手工维护这些属性标记就是个灾难。
很不幸，我遇到的就是这种情况，服务接口中有超过100个方法，还在增加中，涉及的类有十几个，加起来有上百个字段。。。有int,也有Integer(有的必须给值，有的可以为null)。手工去加这些属性太麻烦了，还非常容易出错。

怎么办呢？

从IDL生成工具swift2thrift-generator-cli入手改造它！
这就是本文的中心任务。

改造目标

从swift2thrift-generator-cli源码入门，在此基础上修改swift2thrift-generator-cli生成IDL的逻辑，对于一个字段或参数，如果它是primitive类型，就指定为required，如果它是primitive对应的对象封装类型(wraptype) Integer,Boolean…，就指定为optional.

问题分析 ThriftFIEldMetadata

通过分析swift的源码发现，不论是类的字段还是服务方法的参数，都是一个fIEld，都用com.facebook.swift.codec.Metadata.ThriftFIEldMetadata这个类来描述的。

requiredness

在thrift IDL规范中每个fIEld都可以指定必要性（requiredness）,可以为optional(可选的)，required(必须的)，default(默认)。
在IDL文件中一个fIEld如果是基本类型(Base Types,such as i32,i64,bool),且被定义为optional,那么生成的java代码中对应的类型就是该基本类型对应对象封装类型(Integer,Boolean)，如果没有指定，那么它就会被生成基本类型对应的primitive类型(int,long,boolean)。
ThriftFIEldMetadata中有一个枚举型(com.facebook.swift.codec.ThriftFIEld.requiredness)字段requiredness就是指定该字段的必要性。
swift2thrift-generator-cli生成的IDL文件中对所有primitive类型以及对应的对象封装类型，加都没有requiredness标记，没有requiredness标记的filed
swift-generator-cli在根据IDL生成java代码时，对于没有指定required或optional的fIEld,如果是primitive类型或对应的对象封装类型,则一律生成primitive类型。

基本思路

了解了上面这个关键点，我的解决方案基本思路成形了：
为ThriftFIEldMetadata类写一个装饰类(decorator)或叫代理类，只需要重载getrequiredness()方法,在这个方法中实现前面改造目标中描述的逻辑，根据该fIEld的java type返回我们需要的requiredness。然后将所有对ThriftFIEldMetadata的访问(读取,ThriftFIEldMetadata是不可变对象)都重定义到这个代理类。这样，在生成IDL过程中对每个fIEld获取的requiredness就是我们希望的值。

decorator

decorator的实现并不复杂，全部代码如下：

/** * {@link ThriftFIEldMetadata}的代理类， * 重载{@link #getrequiredness()}方法，根据参数类型对返回值进行修改 * @author guyadong * */@Immutablepublic class DecoratorThriftFIEldMetadata extends ThriftFIEldMetadata {    private static final Logger logger = Logger.getLogger(DecoratorThriftFIEldMetadata.class.getname());    private static Boolean primitiveOptional = null;    /** * {@link DecoratorThriftFIEldMetadata}缓存对象,* 保存每个{@link ThriftFIEldMetadata}对应的{@link DecoratorThriftFIEldMetadata}实例 */    private static final LoadingCache<ThriftFIEldMetadata,DecoratorThriftFIEldMetadata>         FIELDS_CACHE =             CacheBuilder.newBuilder().build(                    new CacheLoader<ThriftFIEldMetadata,DecoratorThriftFIEldMetadata>(){                        @OverrIDe                        public DecoratorThriftFIEldMetadata load(ThriftFIEldMetadata key) throws Exception {                            return new DecoratorThriftFIEldMetadata(key);                        }});    /** 将{@link ThriftFIEldMetadata}转换为 {@link DecoratorThriftFIEldMetadata}对象 */    public static  final Function<ThriftFIEldMetadata,ThriftFIEldMetadata>         FIELD_transformER =             new Function<ThriftFIEldMetadata,ThriftFIEldMetadata>(){                @Nullable                @OverrIDe                public ThriftFIEldMetadata apply(@Nullable ThriftFIEldMetadata input) {                    return null == input || input instanceof DecoratorThriftFIEldMetadata                              ? input                             : FIELDS_CACHE.getUnchecked(input);                }};    private final Type javaType;    private DecoratorThriftFIEldMetadata(ThriftFIEldMetadata input){        super(                input.getID(),input.getrequiredness(),input.getThriftType(),input.getname(),input.getType(),input.getInjections(),input.getConstructorInjection(),input.getmethodInjection(),input.getExtraction(),input.getCoercion());        // 获取fIEld的类型        List<ThriftInjection> injections = getInjections();        checkState(injections.size()>0,"invalID size of injections");        ThriftInjection injection = injections.get(0);              if(injection instanceof ThriftParameterInjection){            javaType = ((ThriftParameterInjection)injection).getJavaType();        }else if(injection instanceof ThriftFIEldInjection){            javaType = ((ThriftFIEldInjection)injection).getFIEld().getType();        }else{            javaType = null;            // 对于不支持的数据类型无法获取fIEld类型，输出警告            logger.warning(                    String.format("UNSUPPORED TYPE %s，can't get Java Type. "                            + "(不识别的ThriftInjection实例类型，无法实现requiredness转义)",null == injection? null : injection.getClass().getname()));        }    }    /** 最关键的部分：重载方法,实现 requiredness 转义 */    @OverrIDe    public requiredness getrequiredness() {        requiredness requiredness = super.getrequiredness();        checkState(requiredness.UnspecIFIED != requiredness);        // 当为primitive类型时，requiredness 为required        // 当为primitive类型的Object封装类型时(Long,Integer,Boolean)，requiredness为OPTIONAL        if( !Boolean.FALSE.equals(primitiveOptional)                && javaType instanceof Class<?>                && requiredness == requiredness.NONE){            Class<?> parameterClass = (Class<?>)javaType;            if(parameterClass.isPrimitive()){                requiredness = requiredness.required;                // logger.info(String.format("%s %s",parameterClass.getSimplename(),requiredness));            }else if(Primitives.isWrapperType(parameterClass)){                requiredness = requiredness.OPTIONAL;                // logger.info(String.format("%s %s",requiredness));            }        }        return requiredness;    }    /** * 设置optional标记<br> * 指定{@link #getrequiredness}方法调用时是否对primitive类型及其封装类型(Integer,Long)参数的返回值进行替换<br> * 默认值:{@code true}<br> * 该方法只能被调用一次 * @param optional * @see #getrequiredness() * @throws IllegalStateException 方法已经被调用 */    public static synchronized voID setPrimitiveOptional(boolean optional) {        checkState(null == DecoratorThriftFIEldMetadata.primitiveOptional,"primitiveOptional is initialized already.");        DecoratorThriftFIEldMetadata.primitiveOptional = optional;    }}

偷天换日

有了上面的decorator，要让它发挥做用，还要做进一步的工作，需要用将原本对ThriftFIEldMetadata的访问请求转向这个新的对象，以服务方法为例 ，ThriftMethodMetadata.getParameters()方法用于外部获取method的所有参数的描述对象(ThriftFIEldMetadata)，我们同样需要写一个ThriftMethodMetadata的代理类。重载getParameters()方法，在这里完成对象转换(请求重定向)。
代码如下:

/** * 重载{@link #getParameters()}方法,用{@link DecoratorThriftFIEldMetadata}替换{@link ThriftFIEldMetadata} * @author guyadong * */@Immutablepublic class ThriftMethodMetadataCustom extends ThriftMethodMetadata {    public ThriftMethodMetadataCustom(String servicename,Method method,ThriftCatalog catalog){        super(servicename,method,catalog);    }    @OverrIDe    public List<ThriftFIEldMetadata> getParameters()    {        return Lists.transform(super.getParameters(),DecoratorThriftFIEldMetadata.FIELD_transformER);        // 这里用到了定义在DecoratorThriftFIEldMetadata 中的 Function转换器常量    }}

对于ThriftStruct对象(也就是我们在项目中自定义的java bean)。同样也要做上面类型的替换,需要对com.facebook.swift.codec.Metadata.ThriftStructMetadata类的所有ThriftFIEldMetadata相关方法方法进行重载：

/** * {@link ThriftStructMetadata}的代理类<br> * 重载所有{@link ThriftFIEldMetadata}相关方法 * @author guyadong * */@Immutablepublic class DecoratorThriftStructMetadata extends ThriftStructMetadata {    /** {@link DecoratorThriftStructMetadata}缓存对象,* 保存每个{@link ThriftStructMetadata}对应的{@link DecoratorThriftStructMetadata}实例 */    private static final LoadingCache<ThriftStructMetadata,DecoratorThriftStructMetadata>         STRUCTS_CACHE =             CacheBuilder.newBuilder().build(                    new CacheLoader<ThriftStructMetadata,DecoratorThriftStructMetadata>(){                        @OverrIDe                        public DecoratorThriftStructMetadata load(ThriftStructMetadata key) throws Exception {                            return new DecoratorThriftStructMetadata(key);                        }});    /** 将{@link ThriftStructMetadata}转换为 {@link DecoratorThriftStructMetadata}对象 */    public static final Function<ThriftStructMetadata,ThriftStructMetadata>         STRUCT_transformER = new Function<ThriftStructMetadata,ThriftStructMetadata>(){            @Nullable            @OverrIDe            public ThriftStructMetadata apply(@Nullable ThriftStructMetadata input) {                return null == input || input instanceof DecoratorThriftStructMetadata                        ? input                        : STRUCTS_CACHE.getUnchecked(input);            }};    private DecoratorThriftStructMetadata(ThriftStructMetadata input){        super(input.getStructname(),input.getStructType(),input.getBuilderType(),input.getMetadataType(),input.getBuilderMethod(),input.getdocumentation(),ImmutableList.copyOf(input.getFIElds()),input.getmethodInjections());    }    @OverrIDe    public ThriftFIEldMetadata getFIEld(int ID) {        return DecoratorThriftFIEldMetadata.FIELD_transformER.apply(super.getFIEld(ID));    }    @OverrIDe    public Collection<ThriftFIEldMetadata> getFIElds() {        return Collections2.transform(super.getFIElds(),DecoratorThriftFIEldMetadata.FIELD_transformER);    }    @OverrIDe    public Collection<ThriftFIEldMetadata> getFIElds(FIEldKind type) {        return Collections2.transform(super.getFIElds(type),DecoratorThriftFIEldMetadata.FIELD_transformER);    }}

按照 上面的思路，以此类推要换掉在IDL生成过程中涉及ThriftFIEldMetadata访问所有环节。就可以了。

完整代码

限于篇幅，这里不再贴更多代码，需要完整的代码可以访问码云上的Git仓库：

https://gitee.com/l0km/idl-generator-cli

需要用maven编译，下载代码后执行mvn package就可以生成一个uber-jar.
执行下面的命令就可以看到用法说明。

java -jar IDl-generator-cli-1.2-standalone.jar

更多详细信息参见README.md

后记

那现在可以传递一个类型为Integer的null值到服务端了么？

说实话，还是不行…

啊？！！！那不是白干了？那你废半天劲写这一大堆文字干嘛？说说为什么不行啊？

关于为什么，可以参见我的上篇博文《thrift/swift:ThriftMethodProcessor代码分析》。 知道了原因，你就明白了：服务端也需要改造，改造的思路参照本文的思路就很容易想明白。有时间的话再我再就这个问题写个博文

总结

以上是内存溢出为你收集整理的thrift/swift:对swift2thrift-generator-cli IDL生成工具的改进全部内容，希望文章能够帮你解决thrift/swift:对swift2thrift-generator-cli IDL生成工具的改进所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。