让无人车把人认成狗，一名学生三天攻破谷歌论文里的AI防火墙
机器之能2018-03-13 18:19
偶发性「眼瞎」的无人车，你敢坐吗？
编译 | 王艺
编辑 | 宇多田
来源 | Wired
作者 | Tom Simonite
在无人驾驶任务中，一直存在着一个讳莫如深的话题，每一个无人驾驶从业者都不愿详谈，那就是生成对抗网络对车辆视觉系统的攻击。
对抗样本对计算机视觉系统的攻击已经是老话题，只要很轻微的扰动，神经网络就会发生错误，将个物体看成另一个物体，或者干脆对眼前的物体视而不见。
和「计算机能够看明白东西」这一伟大历史进展相比，轻微的扰动可能是无伤大雅的小问题。但这样的缺陷放在自动驾驶领域，却是人命关天的大事情。
科研人员一直在寻找抵御这种攻击的方法，事实上，研究者们也像「对抗」双方一样，各执一子，进行着「魔高一尺，道高一丈」的较量。
今年 1 月，一个在人工智能领域有广泛影响力的学术会议宣布，已经甄选 11 篇关于保护或侦测这种对抗攻击的方法论文，并将于 4 月公布。
该声明宣布仅 3 天后，麻省理工学院一位研究生一年级的在读学生 Anish Athalye 便发布了一个网页，生成已经成功打破 11 篇论文中 7 篇所描述的防御手段，这 7 篇论文中不乏来自谷歌、亚马逊、斯坦福等大型研究机构的研究成果。
网址：https://github.com/anishathalye/obfuscated-gradients
「一个有创造力的攻击者仍然可以绕过所有的这些防御系统。」Athalye 说。除 Athaly 外，项目的参与者还包括 Nicholas Carlini 以及 David Wagner，二人均来自加州大学伯克利分校，Carlini 是研究生，Wagne 是教授。
三人的成果在学术界激起了热烈的讨论，大家也展现出了一些共识。那就是：怎样才能对神经网络在 C 端产品和无人驾驶任务中进行保护，目前还不清楚。
「这些系统全部都是有漏洞的。」卡尔加里大学助理教授 Battista Biggio 表示。这是一位已经在机器学习领域探索了近十年的意大利人，且与三人的项目毫无瓜葛，因此我们可以认为他立场中立。「在机器学习领域，我们缺乏评估安全性的方法。」他说。
下面是一张由 Athaly 创建的对抗样本图片，人类很容易辨认图片上是两个男人在滑雪。但上周四早上，当三人用这张照片对谷歌的云视觉服务进行测试时，系统以 91% 的置信度判断照片上是一条狗。
在 Carlini 的个人网站上，我们找到了另外一些计算机被愚弄的例子，例如如何让无人驾驶汽车的视觉系统对停止标志视而不见，以及一些对声音相关神经网络进行对抗攻击的例子。
不过有一个消息可以让大家稍微放心一些，那就是这种攻击当前只在实验室中得到了证实，在实操环境下还没有这样的案例发生。
「尽管如此，我们仍需认真对待这个问题。」伯克利大学博士后研究员李波（音）表示，「在无人驾驶系统的视觉模块、在能购物的智能音箱里、在过滤网络不良信息的任务中，我们需要系统非常可靠。」
「而现在，神经网络的潜在危险很多。」李博说。她对此深有体会，因为她去年的研究方向就是如何给道路上的停止标志增加扰动（通过贴纸等手段）是其在机器视觉系统面前隐身。
李波和其他研究员合著的一篇论文被纳入了开头我们提到的 11 篇论文中，也就是说，李波的论文是 Athalye 三人的攻击对象。这篇论文描述了一种分析对抗性攻击的方法，并能够对对抗性攻击进行检测。
对于 Athalye 的项目，李波的态度很开放，认为这种反馈有助于研究人员取得进展。「他们的攻击意味着我们需要考虑更多的问题。」李波说。
另一篇被 Athalye 攻击的论文作者，来自斯坦福大学的杨松（音）表示不愿对此事作出评价，尽管三人的项目论文已经在其他学术会议进行 Review。
卡内基梅隆大学教授 Zachary Lipton 和几位来自亚马逊的研究人员合著的论文也是 Athalye 的破解对象，他表示还没有对三人的项目进行仔细的研究，但事实上，他也认为当下所有的防御措施都是可攻破的。
谷歌拒绝对这一事件发表评论，但表示会对其谷歌云视觉服务进行升级，以防范这些攻击。
想要建立更强的防御能力，机器学习研究者们还需要更加刁钻的手法。Athalye 和 Biggio 表示，机器学习领域应该借鉴计算机安全领域的一些实战经验，毕竟计算机安全领域在测试新的防御技术是否好用的时候，有一大套严密的测试手段。
「在机器学习界，人们倾向于信任彼此。」Biggio 表示，「计算机安全领域的心态恰好相反，人们始终对坏事情抱有警惕。」
人工智能和国家安全相关的研究人员在上个月的一份重要报告中也提出了类似的建议，报告建议那些致力于机器学习的人更多地思考他们正在创造的技术是如何被滥用或利用的。
不同类型的人工智能系统免受敌对攻击的能力也有所不同。Biggio 表示，大多数任务中，受过恶意软件检测训练的机器学习系统鲁棒性会更高。因为恶意软件必须具有功能性，这也就限制了它的多样性。
但 Biggio 认为图像领域不一样，保护计算机视觉系统要比其他人工智能系统要困难得多, 因为自然界是如此的多样化, 图像包含了如此多的像素。
这是一个对无人驾驶设计者来说必须要攻克的问题，要解决这个问题，我们可能需要重新审视机器学习技术。
「我认为根本问题是，深度神经网络与人类大脑非常的不同。」李波说。
事实上，就算人类也不能完全屏蔽视觉欺骗，我们还是会被光学错觉愚弄。最近一篇来自谷歌的论文创造了一些奇怪的图像，这些图像不仅能够欺骗计算机，还能够欺骗人类。如果人类只是对这些图片匆匆一瞥（1/10 秒的时间内），会将图片上的猫看作是狗。
不过和计算机不同的是，人类有对图像综合解读的能力。我们所看到的并不仅仅是像素，还会考虑图像不同组成部分之间的关系，比如人脸上五官的正确位置。
在谷歌和多伦多大学同时任职的世界上最权威的人工智能专家 Geoff Hinton 正在努力让机器也有这样的能力。他认为，机器一旦拥有这种能力，就能够从少数几张图像中学习辨认物体，而不需要成千上万张图像的运算。
李波认为，拥有人类视角的计算机视觉系统被攻击成功的可能性会更小。她和伯克利大学的其他研究人员正在与神经科学家以及生物学家合作，试图从大自然中获取解决方式。
不过，在已经确认「计算机视觉」的防火墙可以被攻破后，我们是不是应该对 AI 黑客的定义与「未来他们可能要从事的任务」有了一个更加清晰的认识？
1、攻入无人车「大脑」——无人驾驶计算机系统，像《速度与激情 8》里那群被黑了之后像「丧尸大军」一样飙出街头的无脑车队真的可以复制？
2、戳瞎无人车的「眼睛」——就像 Athaly 一样创建对抗样本，让汽车的视觉系统成功把路旁的活人识别成一堆石头？
这样来看，网络安全的定义以及黑客的职能就不再限于虚拟世界里偷数据，拍视频，曝光行踪地点，让企业系统瘫痪这些工程性操作了。从某种程度上，是不是利用 AI 技术的漏洞执行暗杀任务也是有可能的？
大概几百年后，尽管无人车满街跑成了一种常态，国家领导人以及黑手党们也是绝对不敢坐无人车的。
所以，计算机视觉的工程师们，你们觉得自己的系统可以被攻破吗？不服来辩。
举报/反馈
0
0
收藏
分享
