人工智能把机器人变得很可怕？人工智能有作恶的能力吗？

2016年3月23日，一个人设为19岁女性，昵称为 Tay 的聊天机器人在推特上线。这个微软开发的机器人能够通过抓取和用户互动的数据模仿人类的对话，像人一样用笑话、段子和表情包聊天。但是上线不到一天，Tay 就被“调教”成了一个满口叫嚣着种族清洗的极端分子，微软只好以系统升级为由将其下架。

微软聊天机器人的极端言论

这样的口号并不是聊天机器人的发明，而在社交网络上大量存在着。美国大选期间，一些所谓的“政治新媒体”账号发出的掺杂阴谋论、种族主义的内容，在Facebook 上进行了病毒式传播。这有赖于人工智能协助下的“精准定位”：谁最容易相信阴谋论，谁对现实最不满？相应的政治广告和假新闻能精准地投放到这群人中，使人对自己的看法更加深信不疑。

因为设计缺陷而 “暴走”的聊天机器人，和精心策划的线上政治行为，看起来仿佛是两回事。但这种我们似乎从未见过的景象，却指向了同一个“凶器”——大数据驱动下的人工智能。

1 人工智能有作恶的能力吗？

人工智能会“作恶”吗？面对智能的崛起，许多人抱有忧虑和不安： 拥有感情和偏见的人会作恶，而仅凭理性计算进行判定的计算机似乎也会“作恶”， 且作起来易如反掌。这让许多人（特别是非技术领域的人）对人工智能的发展持悲观态度。

这种忧虑并不是最近才有的。人工智能这个词诞生于上世纪50年代，指可体现出思维行动的计算机硬件或者软件，而 对机器“拥有思维”之后的伦理探讨，早至阿西莫夫开始就在科幻作品里出现。

14 年前，威尔·史密斯主演的电影《机械公敌》里就有这样一个场景：2035 年的人类社会，超高级的人工智能承担大量工作，并与人类和谐相处。这些原本完全符合阿西莫夫“三定律”的人工智能，在一次关键升级之后对人类发起了进攻。这些机器人拥有了思维进化的能力，在它们的推算下，要达到“不伤害人类”的目的，就必须先消灭“彼此伤害”的人类。

十分高产的科幻作家阿西莫夫（1920-1992）。

图片来源：sciencesetavenir.fr

看起来，人工智能并不像人类一样拥有所谓“人性”，并不与我们共享一个道德伦理体系。 然而 将智能的“作恶”简单理解为“人性缺乏”，未免把这个问题看得太过简单。

一方面，机器似乎还不够“智能”。 南京大学计算机科学与技术系副教授、人工智能专家俞扬认为，“人性”对于人工智能来说是一个非常“高层次”的东西。“描述一张图片上，有草原，有狮子，机器可以做到，”俞扬举了个例子，“而要归纳它是‘非洲’，就要更高级一些，对机器来说更困难。”他说，判断一件事情在道德上好不好，意义上怎么样，目前来讲并不是机器的能力范围。

而正视人工智能的“恶”，或许应该首先找出作恶之源——为什么人工智能忽然变得可怕起来？

另一方面，机器似乎已经太过“智能”，某些方面几乎要超越人类的理解。 近 10 年，人工智能领域迎来了爆发，这要得益于 “机器学习”的发展：拥有强大运算能力的计算机程序能够对大量数据进行自动挖掘和分析，并学习各种行为模式。输入和输出不再是人工赋予的几个变量掌控，而是让机器在大量数据中自己分析特征，决定变量权重。

目前最火的领域“深度学习”就是这样——行业者有时会将其戏谑地称为 “当代炼金术”：输入各类数据训练 AI，“炼”出一堆我们也不知道为啥会成这样的玩意儿。 处理数据的神经网络，通常由数十个或者上百个（或者更多）神经元组成，然后用数层逻辑结构组织起来，运算过程及其复杂。智能程序自己给自己设定算法和权重，而最后为什么输出了某个决策，人类并不能完全理解。

这看起来就仿佛一种本能一样——蒙特利尔大学的计算机科学家约书亚·本奇奥将其称为 “人工直觉” （arTIficial intuiTIon）。

图片来源：wpi.edu

我们会信任一个我们“无法理解”的决策对象吗？当它出错的时候，我们能够察觉、能够纠正吗？

“我们必须清楚地知道人工智能会做出什么样的决策。对人工智能的应用范围，以及应用结果的预期，一定要有约束。”俞扬认为，“黑箱”的现实应用，一定要慎之又慎。环境是否可控，是否经过了可理解性的测试，决定了它是否可以用在关键的场所，否则就是产品的重大缺陷。

今天的人工智能之所以危险，不仅是因为它已经具备了一定的能力和“权力”，还因为 人类生活的大规模网络化、数字化，为机器的“学习”提供了足够多的数据“食粮”。

今天的人工智能与其说是拥有“思维”，不如说是对于人类世界中现存数据的反映和理解。与其说“没有人性”，会不会是“太有人性”？ 机器是否也继承了我们既有的偏见、无常和贪婪？ 

人工智能的罪恶之源

人工智能在判断上失误的一个指责，是它经常会 “歧视”。使用最先进图像识别技术的谷歌曾经陷入“种族歧视”的指责，只因它的搜索引擎会将黑人打上“猩猩”的标签；而搜索“不职业的发型”，里面绝大多数是黑人的大辫子。哈佛大学数据隐私实验室教授拉谭雅·斯维尼发现，在谷歌上搜索有“黑人特征”的名字，很可能d出与犯罪记录相关的广告——来自谷歌智能广告工具 Adsense 给出的结果。

而这种危险并不仅仅是 “另眼相看”本身——毕竟将一张黑人的照片打上“猩猩”的标签，只是有点冒犯罢了。而 人工智能的决策正走入更多与个人命运切实相关的领域，切实影响着就业、福利以及个人信用，我们很难对这些领域的“不公平”视而不见。

人工智能会加剧人类社会的不公平吗？

图片来源：Chatbot's Life

对每个毕业季都会收到数以万计简历的大公司人力部门而言， 用机器筛简历并不是什么新鲜的事情，百分之七十以上的简历甚至都到不了 HR 的眼皮底下。 筛简历的 AI（业界用语“雇佣前评估”）因此而获得了大约30亿美元左右的市场。有些关键词，例如性别、地域，或者出身阶层，至少在明面上，是不宜成为筛选标准的——这个时候，HR 就会以“并不适合”为由，推掉不喜欢的性别、籍贯乃至星座。那么，彻底排除 HR 或者项目经理个人偏见的人工智能会解决这个问题吗？答案可能会更糟。

最新的人工智能雇佣辅助技术，并不需要人为设置关键词，而全靠“过往的优秀员工数据”对机器的训练，决策权重也并不是加或者减去一个过滤的变量就能解决的，看起来似乎十分公平。 然而人工智能的检视，却让少数族裔、女性、或者有心理疾病史的人更难找到工作。

美国 IT 作家、数学家凯西·奥尼尔曾经调查到，人力资源解决方案公司 Kronos 提供的智能筛选服务会用“个性测试”把有心理疾病史的申请者挡在门外；而施乐在招聘的时候发现，人工智能大量过滤掉了有色人种的申请，因为这些申请者提供的地址位于市内某黑人聚居区。

金融领域也不例外。位于美国洛杉矶的科技金融公司 Zest 开发了一个人工智能信用评估平台 ZAML，使用用户网络行为，而不是实际的信用记录，来判定用户的信用值。

百度作为搜索引擎合作商，向他们提供了大量可以数据用于归纳出用户可能的财务状况。它声称有近十万个数据点，没有所谓“决定因素”，因为美国法律禁止金融机构以性别、种族或宗教等决定一个人的信用。然而在现实应用中，对于不同人群的“另眼相看”却体现得非常明显——比如，它会“研读用户的申请”，检查申请中是否有语法和拼写错误等，来判定一个人“守规矩”的倾向；然而这导致并不能熟练使用英语的移民群体在信用问题上被抹黑。

图片来源：PracTIce Index

歧视的来源是哪里？是打标签者的别有用心，是数据拟合的偏差，还是程序设计哪里出了 bug？ 机器所计算出的结果，能为歧视、不公、残酷提供理由吗？ 这些都是值得商榷的问题。

我们训练机器的“过往数据”，实际上是人类自身偏见和行为的产物。 《MIT 商业评论》的分析者认为，类似于 ZAML 的智能采用的“贴标签”策略，很难排除相关性（而非因果性）带来的偏见。少数族裔常常会因某种特定行为被打上标签（比如访问某个网络社区等），即使他/她有良好的信誉和稳定的工作，只要出现这样的行为，就可能会被人工智能判定为低信用，需要为他/她的借贷支付更高的利息，或者干脆没有资格。

机器能解决处理效率的问题，却不能避免“过往数据”本身造成的缺陷。一个公司过去10年男员工工资比女员工高，有可能源自某个高层的性别歧视；智能筛选却能把对于此群体的偏见刻印在对于个体的判断上，这跟人类的刻板印象如出一辙。问题在于，机器的抉择往往被包装上“科学”“客观”的外衣， 此类解决方案往往能够因为其科技噱头而卖出高价，殊不知只是用“科学结果”对现有的偏见进行的“大数据洗白”。