联邦学习框架FATE V1.7发布：性能巨幅提升，助力多系统互联互通

联邦学习框架FATE V1.7发布：性能巨幅提升，助力多系统互联互通

 

FATE (Federated AI Technology Enabler）是微众银行人工智能团队自研的全球首个联邦学习工业级开源框架，它提供一种基于数据隐私保护的安全计算框架，为机器学习、深度学习、迁移学习算法提供强有力的安全计算支持。

从2019年2月开源至今，FATE已迭代了十余版本，在金融、医疗等众多领域有了落地应用，汇聚了上千家企业、高校等科研机构的开发者。

近日，FATE V1.7正式发布，为开发者带来9项重要更新：

■ 性能提升：横纵向联邦SecureBoost性能提升5倍+，千万级别样本训练支持；隐私保护求交(PSI)算法性能提升3倍+，不平衡场景下PSI性能提升10倍+以上；

■ 两方逻辑回归：新增纵向联邦逻辑回归算法，支持无可信第三方；

■ 横向通用模型转化：支持FATE的横向模型导出成主流引擎模型训练文件，可用于跨引擎的离线预测和在线推理；

■ 安全协议增强：新增同态加密和秘密分享混合协议；

■ 组件插件化：可同时部署多个版本算法组件包，运行时指定版本，支持热插拔；

■ 调度能力增强：checkpoint/warmstart、数据/模型复用、作业参数更新；

■ 多方异构引擎支持：简化Session API接口，移除workmode，backend参数，FATE计算，通信，存储引擎在部署时决定，更好的支持多方不同引擎设置；

■ 存储增强：新增LocalFS存储引擎，搭配Spark Local计算模式；

■ 仓库分离：1）新增FATE-Flow独立仓库，FATE-Flow代码从FATE主仓库剥离，增强产品迭代灵活性及扩展性；2）新增AnsibleFATE仓库，把FATE主仓库Ansible自动化部署部分独立管理。

打开下方链接，即刻体验新版本：https://github.com/FederatedAI/FATE

FATE技术架构

FATE技术架构的底层是Tensorflow / Pytorch（深度学习）、EggRoll /Spark（分布式计算框架）和多方联邦通信网络，上层为联邦安全协议，并在安全协议的基础上构建联邦学习算法库。围绕实际场景，FATE在技术架构顶层构建了联邦区块链、联邦多云管理、联邦模型可视化平台、联邦建模pipeline调度、联邦在线推理等。

FATE联邦算法组件已发展至30余个，实现工业界主流场景算法全覆盖和工业界主流多方安全计算协议全覆盖，涉及数据输入输出、纵向联邦统计、纵向联邦特征工程、纵向联邦学习算法、横向联邦学习算法、模型评估、安全计算等算法方案。

FATE 1.7版本

此次，FATE团队推出的1.7版本，对FATE进行了全面升级，解决不同联邦学习技术平台之间互联互通的问题，巨幅优化了性能效率。

详细解读，可回顾第14期圆桌会 | FATE V1.7版本内容介绍：点击此处

此外，新版本对其他FederatedML、FATE-Flow、FATE-Board、Eggroll等多个模块都进行了更新及改进，各模块改进点如下：

FederatedML

a. 性能: 

■ 纵向联邦SecureBoost性能提升超过5倍，支撑用户千万级样本的训练；

■ 隐私保护交集PSI算法在运算上进行优化，性能提升3倍以上，并支持在线模式，在实际应用中，性能提升一个数量级以上；

■ 其他算法如横向SecureBoost也有性能上的巨幅提升;

b. 算法功能：

■ 推出了纵向联邦多分类特征工程方法，打通了多分类联邦建模的全场景；

■ 推出了两方纵向联邦逻辑回归算法，解决用户关心的如何寻找“可信第三方”的问题；

■ 横向模型的在线使用，通过提供横向模型的跨引擎转化功能，使得FATE训练模型可导出到其他引擎从而进行离线预测和在线推理。

■ 推出了多项关键功能，如支持checkpoint和模型热启等，欢迎用户一起进行体验和反馈。

c. 安全协议: 

■ 新增同态加密和秘密分享混合协议，进一步拓展联邦学习算法应用领域。

FATE-Flow

仓库分离：拆分FATE-Flow为独立仓库，增强产品迭代灵活性及扩展性

组件插件化：可同时部署多个版本算法组件包，运行时指定版本，支持热插拔

调度能力：checkpoint/warmstart、数据/模型复用、作业参数更新

模型管理：checkpoint模型、自动导出备份模型

数据管理：数据表衍生关系追溯、数据集权限控制、新增Cache组件用于交集

FATEBoard

■ 支持更多组件的数据展示与下载，用户可查看到更为完整的数据信息。

■ 优化部分已有组件，binning组件支持多分类数据展示，secureboost针对于数据展示以及 *** 作便捷反面进行了改造。

■ 新增warm start机制，展示组件迭代次数。

■ 改造了细节交互方面，配合使用习惯，在多个页面，都提供了数据可编辑 *** 作。并且针对性的调整了部分交互，为更好的优化用户体验。

Eggroll

Core：支持自定义pythonpath与virtualenv。

RollSite：提供负载均衡 / HTTP支持的解决方案。

---

以上就是版本更新的全部内容，如您对新版本有疑问，或者在使用FATE的过程中遇到问题，点击下方链接，进行交流。

联邦学习框架FATE V1.7重磅发布：性能巨幅提升，助力多系统互联互通