人“攻”智能，一不小心人人都是黑客

今天，我跟大家分享的题目是人“攻”智能，“攻”是攻击的攻，其中包括了我这么些年工作的感悟，我想先从传统科班的人工智能说起。

我们先做一个小测试吧，大屏幕的左边有一张图，如果我问大家看到了什么，相信每个人都有自己的回答。图片右边有两句话，一句是正常人类的问题，另一句是带有人工智能的机器人的回答。

这个小测试就是，你们认为右边回答的两个人，小花和小明，谁是正常的人类？在公布答案之前我想和大家说一下，其实大家做了一个非常典型但不那么严谨的图灵测试。

上世纪50年代，当时的人工智能之父图灵提出一个测试机器是否具备人类智慧的方法。他提到，如果我们同时和一个看不见的人及机器（通过敲键盘）进行提问式的交流，如果30%的成年人无法在5分钟内判断对面是人还是机器，我们认为那台机器已具备了人工智能。

如果等会儿答案揭晓时，如果你发现自己错了，那说明我们的人工智能已经像人类了。

大家看一下，小明才是机器人，我们都认为他像一个正常的人类对不对？

人工智能

人工智能发展到现在已有了一些有意思的成果。对计算机来讲，如果要像人一样思考，具备人一样的智慧，就有一个最重要的领域需要去搞定。

我们要知道，人对信息的处理70%来自于我们的眼睛，但对计算机来讲它只有0和1，计算机从一张图片看到的只是像素上的数值，它无法看到沙发上的一条线，更无法很快理解，那可能是一个大人带着两个小孩儿、一只狗在看电视。

如果我更近一步提问，坐在前面的那个小屁孩上衣是什么颜色？对计算机来说，什么是小屁孩？什么是前面？什么是上衣？什么是颜色？它完全无法理解。所以，在人工智能被提出多年之后，它在视觉领域还存在困难。

要知道，我们人出生后要用眼睛看世界。如果把眼睛比作计算机的话，每200毫秒我们就拍一张照片。大家想一下，从我们睁开眼睛看世界开始，到今天拍了多少这样的照片，才能够看懂看明白？所以呢，我们希望训练计算机它也具备这种能力。

在2010年时，最好的人工智能计算机识别图形的错误率在20%到30%，比人类差。但在2012年至2014年，斯坦福有个博士通过自己的研究，使这个错误率降低到接近人类的水平。这是一项非常了不起的成就，他在其中使用到我们称之为“深度学习”的技术。

通常我们要告诉机器一万遍，这是猫这是猫这是猫，它才知道这长得像一只猫;但到了2012年，谷歌不用再告诉机器什么是猫，而是可以直接问什么是猫，让它自己把猫找出来，这是一项让人工智能领域科学家都非常佩服的成果。

看到这样的科技成果，说实话我也很兴奋。但是今天我演讲的主题是什么呢？人“攻”智能。在感受到人工智能兴奋的同时，我也看到或是瞎想出来一些风险。

攻击样本

我一直从事的专业是IT技术，严格意义来说，是信息安全或大家俗称的“黑客”，2017年是我进入这个行业的第19年。

在2011年我们组建了一个叫KEEN的团队，随后几年，我们的团队在世界黑客大赛上拿过几次冠军。我们又成立了一个黑客赛事平台，叫GeekPwn。在这个平台上，大家能够看到，所有你们身边的摄像头、手机、PC、路由器、智能门锁、无人机、机器人、POS机全被我们黑完了。

你们可能会问我们要干什么？其实我们这样的叫做白帽黑客，我们希望帮助厂商发现问题，然后加以修复，让产品变得更加安全。这些被黑掉的产品里就有汽车，我一直在想，还有没有别的更酷的方法，去帮助提升它的安全性呢？

大家回到刚才看的这个车。通过深度学习，它的智能系统可以识别出道路前穿白衬衫的那个人。我当时产生了一个想法：如果我坚持让汽车认为那是一个消防栓或是一棵树，在紧急情况下，它就会撞上去，这就相当于黑掉它的系统。

这可要比黑掉PC大屏幕更酷。那有没有可能办到呢？说实话，我们过去从事的是传统的安全领域研究，对人工智能这一块并不了解，但兴趣使然我们想去学习一下，看能不能做到这一点。这就像我们挖漏洞、利用漏洞的过程，同样是教给计算机一堆攻击样本，这会产生什么结果呢？

大家先看我们输入一个正常的样本要得到什么？要得到一个正确的决策。可是在攻击里面，我们输入一个攻击的样本，就希望它能得到一个错误的行为，这种办法能不能在人工智能领域行得通？

人“攻”智能

在去年GeekPwn美国战的时候，刚好有一位世界级的人工智能大师发现了这个成果。你们看，图片左边是一条小狗，对于现在的人工智能来讲，识别它非常容易。但这张小狗又不是小狗，它是经过特制的，当下最成功的人工智能识别系统坚持认为这是一只鸵鸟。

左边这张图大家依然看不到任何信息，全都是噪点对不对？但当我们交给人工智能时，它坚持认为这是一张熊猫。我们又一次误导它出现错误的决策，这给了我们信心，就是我们假想中的错误真的可能导致错误决策，就是攻击样本。

去年微软推出一个智能聊天机器人，它能和我们正常交流，可是没过多久就下线了。为什么？因为它在第一天下午就开始跟人骂脏话了，说种族主义的东西。为什么能这样呢？因为上午就有人用这种话来跟他交流，他以为这是人与人之间正常的交流方式。

所以我产生了一个想法，在人工智能时代，真的可能一不小心人人都是黑客。黑客不需要写任何代码，也不需要像我们有十几年的安全经验，它就可以成功地把人工智能给欺骗了，这说的是语言领域。

其他领域呢，大家来看一下，这是一只机器狗，这是一个机器人，他们来自于美国的波士顿动力公司，他们能够像人类或是动物一样去行走，在行进过程中，自己摸索出调整平衡的方法，这是一项非常了不起的产品。

我在想，如果有一天这些机器狗、机器人认为，我捅你一下、踹你一下，是跟和你握手一样的友好行为怎么办？机器人会不会威胁到我们呢？我可能是杞人忧天，但是站在黑客的角度，我们习惯性从坏人角度看问题。

人工智能从上世纪50年代发展到现在，非常像《速8》里的那个小孩，我们希望他能够成长成像他父亲一样那么强壮、智慧的男人。

保护人类

可是这一天会不会受到干扰呢？我们现在做的工作，就是希望能够帮助人工智能安全健康地成长。我们一直尝试用坏人的视角看问题，帮助我们做出更安全的产品。

我们担心什么？不知大家有没有看过一部叫《超能查派》的电影，看这电影时我感触非常深。它讲一个机器人刚出生就被劫匪从实验室劫走了，过了几个月，大家看到它带着金项链、举着手q、骂着脏话、抢别人钱。为什么呢？因为它被带到贫民窟，它认为这才是正当工作。

我们期望人工智能改变我们的生活，但我们更认为自己有必要帮助它健康成长。我特别希望有更多的人投入到这份工作，或者说黑客事业上来。

人工智能领域分为两派，一派是乐观主义，另一派是悲观主义。悲观主义认为，人类正在自取灭亡，他们正在做一个可能超越人类，某一天将危及人类安全的设备。持悲观观点的人不仅有我，还有霍金、埃隆·马斯克、比尔·盖茨……

如果真有那么一天，黑客说不定还能够保护全人类，攻击它（人工智能），所以今天跟大家分享的全都是我的一些浅薄想法，如有不雷同，欢迎拍砖，谢谢大家。