AI Talk | 如何评估AI是否可信？

AI Talk | 如何评估AI是否可信？

作者：leonlzhou

随着AI技术深入到各行各业，AI也不断暴露出一些风险隐患，包括人脸数据的滥用，算法歧视，算法鲁棒性等，AI所隐藏的风险也越来越被大众所重视。虽然AI确实给各行各业提供了新的加速，但是却也在慢慢丢失大众对它的信任。基于此，可信赖人工智能被越来越多的提及，越来越多的政府和企业都加入到了可信AI的发展和共建队伍中来。可信AI已经成为全球共识，也是行业发展的必然趋势。那什么是可信AI？如何确保和评估AI是可信的呢？

▲为什么需要可信AI？

人工智能技术引发了信任危机，主要有以下几个场景：算法安全性，算法不透明，算法歧视，算法的事故责任，算法的隐私风险。AI在这几个场景的离奇表现引发的大众对其的质疑。

• 算法安全

uber自动驾驶未识别路上行人，最终导致行人死亡

3D面具和合成照片实施欺骗，破解人脸识别系统

• 算法不透明

美国德州某学校，教学系统采用AI判断老师教学水平，因为算法的不可解释性引发了老师的强烈抗议

• 算法歧视

美国芝加哥法院犯罪风险评估系统对黑人存在歧视

• 算法责任

自动驾驶在出现事故后的责任划分？

AI的伦理问题？

• 隐私风险

ZAO违规收集人脸数据

上面这些事件也只是大众对AI产生信任危机的一小部分，单拎出来一类都有很多AI有类似的风险。比如算法歧视问题，还存在于搜索推荐，智能招聘，金融借贷等场景。这些事件的发生让我们重新来审视AI，AI向善的本质还是人的向善，创造AI的开发者需要去审视自己。

▲可信AI的发展

可信AI在学术界，政府和企业都有很多发展和推动。

其中学术界有专门针对可信AI相关的技术社区，包括Acm Facct，Fair & Responsible AI CHI2020，RAI ICLR等。Acm Facct重点focus在Fairness, Accountability, 和 Transparency上。而在政府层面，最近几年欧盟也颁布了多项AI法案，在模型安全和可解释性上做了明确的要求。而在国内，深圳也发布了<<深圳经济特区人工智能产业促进条例>>，在AI可靠性，伦理安全等也做了明确的政策要求。

除了政策要求，各个标准组织也在可信AI上做了研讨和定义，包括国际标准ISO/IEC 的可信人工智能工作组，他们针对模型鲁棒性有相应的标准要求。而国内，TC28 发布的<<可信赖标准化白皮书>>，AIIA 联合行业制定的<<可信人工智能研发管理指南>>，针对可信AI，明确做了稳定性，安全性，公平性，可靠性要求。

除了学术和政策的要求，各大头部企业在积极响应政策要求。国际上，包括谷歌，微软，IBM都针对可信AI的发展做了很大的投入，针对AI的不可解释性，公平性问题等都进行了相关的工具研发，发布了多款辅助工具。谷歌的model cards，微软的Fairlearn，IBM的AI fairless 360等。而国内，包括阿里，百度，华为，旷视等都成立了可信研究相关的工作团队，其中百度自己也发布了一款安全与隐私相关的工具PaddleSleeve。

▲什么是可信AI?

既然可信AI是行业的发展趋势，可信也在各个组织有了一定的发展，那么到底什么是可信呢？

按照AIIA 针对可信AI制定的<<可信人工智能研发管理指南>>，可信主要包括以下几个维度：可靠可控，透明可释，数据保护，明确责任，多元包容。

其中可靠包括了AI的响应时间，并发，AI的识别效果准确率，以及AI的健壮性或者鲁棒性，AI的安全性等。透明可释谈的是AI的决策是否透明，是否可以解释，解释是否合理。数据保护主要约束的是AI的数据滥用和隐私安全。明确责任主要值得是在AI决策错误导致风险事故后的责任划分，这要求AI的决策是可追溯的，可审计的，同时也包含了相应的政策伦理法规的约束。而多元包容主要指的是AI的公平性问题。

▲我们在做什么?

随着公司开源协同的发展，我们也联合公司各大专业评测团队，成立了AI评测Oteam，致力于服务公司各大AIOteam和AI团队。随着可信AI的行业发展趋势，AI评测Oteam也和可信AIOteam联合，从标准，可信算法，可信评估几个角度来共同打造可信AI。

当前的AI算法因为没有免费午餐定理，都是聚焦于解决某一种场景的垂类算法，其应用场景是基于某个封闭世界，基于该世界形成的真实数据分布。在AI算法进行训练的过程中，其训练数据往往是基于开发人员的先验知识进行构建的，训练数据的分布和真实数据分布是有差别的，差别的多少会直接影响算法的效果。而在算法进行评测阶段，评测数据的分布也是有差别的，评测集数据分布应该更可能的接近于真实数据分布。而在整个评估过程中，我们都是基于评测集来对算法进行评估，算法的好坏完全取决于评测集的分布。

基于可信的相关定义和业务实践，我们把可信评估划分为了3个阶段，分别是可用，可靠，可信。

1 、可用

可用是指AI算法在真实数据分布下，算法对该分布的数据识别准确的概率或期望值。

可用关注的是整体识别的效果。

而在可用评估阶段，评测集相对于封闭世界来说，不管是何种采集方式，评测集分布最终相对于真实分布都是有偏的。评测集本身与真实数据分布的相似程度如何，如何对评测集的分布进行打分或者误差估计？可用评估的评测方法和指标是否科学合理？评估指标的置信区间？等等，都是可用评估阶段需要去解决的问题。

可用评估还包括AI算法服务的可用性，包括服务的并发性，服务稳定性等。

关键词：评测集分布的合理性，评估方法和指标，指标的置信度

2、可靠

可靠是指AI算法在真实数据分布下，算法对脱离该分布数据的识别准确概率或期望值。

可靠关注的是算法抗风险的能力，考察的是模型健壮性，或者叫鲁棒性。

风险来自于哪里？风险来自于相比于真实分布的out-of-distribution data(OOD)。OOD数据即是针对真实分布来说的未知数据，未知数据是已知分布的数据加上一定的偏移量，小的偏移就是noise，大的偏移就是离群数据。

小的偏移可以用数据增强，希望能够用增强的方式去生成那些在模型决策边界的数据，这些边界数据的效果能够很好的衡量模型的泛化性，是否过拟合。一个好的模型其决策边界应该尽量平坦才行。基于已知的数据进行数据扰动，通过看算法对扰动数据的抗干扰程度来衡量noise级的风险处理能力；而大的偏移往往是需要用对抗或者生成的方式去生成显著OOD的数据，或者采用安全性攻击的方式来构造安全攻击样本，模型针对这类数据处理的决策不确定性往往较高。

关键词：数据增强，模型对抗，模型安全攻击

3、可信

可信是指AI算法在真实数据分布下，算法识别结果可以被信赖的概率。

可信关注的是算法识别结果的可信赖程度，就包含了算法的可靠，可用性，安全性，透明性/可解释性，公平性等。

其中透明性(也称为可解释性)，公平性等如何评估是需要去解决的问题。可解释性的评估即是去评估模型决策的可信度，模型解释的合理性，一致性等？以及评估模型对输出结果的不确定性估计，估计模型的决策有多大的可信度？公平性即是去评估模型针对某种保护群体的处理公平性，比如不同性别的语音识别效果是否公平？不同肤色的人脸识别效果是否公平等？

可信评估还包括人工智能的可追溯性或者叫可追责性，能够通过日志或者其他方式跟踪识别路径，能够在异常发生时可进行责任划分等。

可信评估还包括人工智能的数据可信，算法使用数据是否合规，符合隐私政策,AI伦理等问题。

关键词：可解释性，不确定性估计，公平性，可追责性，隐私保护

可用相当于是评估出AI算法的能力上界，可靠是评估出能力下界。可信是AI算法的终极目标，在知道能力上界和下界的前提下，能力被认可的程度。

▲我们是怎么做的?

结合整个AI评测流程，我们把AI评估分解成了3种能力，方法+数据+工具。

方法指的是评测方法，我们会把方法提炼成一个评测标准，在标准方法上，我们一直在联合公司标准团队，一起对外输出可信AI评估的方法和思考，也在公司内在沉淀对应的企业标准。在工具上，我们致力于打造一套可信AI的评估框架ART（available，reliable，trustworthy），致力于评估AI算法是否可用，可靠，可信，覆盖了语音，图像，文本3种领域的AI算法。同时我们也沉淀了AIE评测平台，囊括了多种AI算法的一键式评测工具，期望是能体系化的解决AI评测各个链条的繁杂工作，做到公平，公信。在数据上，我们联合aidata团队一起构建更多可解释性的评测集，在数据质量和数据解释上做更多文章。

就可用，可靠，可信的评估角度来讲，其中可用会去刻画评测集分布的合理性，指标的误差，算法的公平对比等；可靠会采用数据扰动的方式去衡量模型针对noise的抗干扰能力，以及模型对抗的方式去衡量OOD(out-of-distribution)数据的风险；可信会去评估模型解释的合理性，模型针对受保护群体的公平性检测等。

参考

[1] https://new.qq.com/omn/20191230/20191230A0FX0R00.html

[2]https://www.sohu.com/a/299700146_358040

[3]http://media.people.com.cn/n1/2018/0502/c40606-29959959.html

[4]http://finance.china.com.cn/industry/company/20190909/5075700.shtml

[5]AIIA.<<可信人工智能研发管理指南>>

---

点击了解更多腾讯云AI解决方案

关注“腾讯云AI平台”公众号

回复【入群】可添加云AI小助手，加入云AI产品、技术、认证等相关社群 回复【云梯计划】可了解更多TCA腾讯云人工智能从业者认证限时免费相关信息 回复【产品手册】可获得最新腾讯云AI产品及解决方案手册