图片: 九州大学

两篇关于物体识别的新研究论文, 一个来自九州大学的日本研究人员, 一个来自麻省理工学院的专家, 对于人工智能如何 "看到" 潜在威胁有着惊人的影响。

通常, 对象识别通过复杂模式匹配来工作: 该软件测量图像中的像素, 并将其与给定对象的尺寸的内部蓝图相匹配, 或者它认为 应该 看起来像。日本研究人员开发了他们称之为 "一个像素攻击" 一种识别和改变图像中单个像素的算法, 它迫使 AI "看到" 别的东西。

马变成了汽车, 汽车变成了狗。通过改变1024像素图像中的单个像素, 攻击74% 的时间是成功的。当改变五像素时, 攻击的成功率上升到87%。

麻省理工学院研究员 采取进一步 通过3D 对象的实时混淆识别软件。使用一个算法, 他们3D 打印一只海龟, 有目的地改变纹理和颜色, 使 AI 看到步枪, 甚至从不同的角度和距离。关键的是, 这些研究人员能够选择他们想让 AI 看到的东西, 这是对对象识别的一种非常令人不安的规避。

这里是麻省理工学院的 real-time 误在行动:

诱使 AI 看到一把枪尤其令人不安, 因为目标识别很快成为智能警务的关键因素。在 9月, 安全启动 Knightscope 推出了一个新的 "打击犯罪机器人" 系列 自动驾驶沙丘越野车装备了监视用具和目标识别, 营销他们作为补充安全为机场和医院。当机器人因为一只纸龟向当局报告一个高层次的威胁时会发生什么?同样, 摩托罗拉 (前泰瑟) 已投资于 real-time 物体识别在他们的身体摄像头。如果这种利用可以用来诱骗人工智能误认为无害的东西是危险的, 它能做相反的事, 伪装成海龟的武器吗?

广告

麻省理工学院论文的合著者西班牙 Athalye 说, 问题并不像修复单一漏洞那样简单;AI 需要学习视力 超越 简单地识别复杂的模式:

"它不应该能够采取的图像, 稍微调整像素, 并完全混淆网络," 他 告诉 石英."神经网络把以前的技术从水中吹出来, 就性能而言, 但鉴于这些对抗性的例子的存在, 它表明我们真的不明白发生了什么。

但是, 隐私专家可能会对加速 AI 识别的需要进行对冲。我们 已经住 在一个 基本上不受管制 和永久 监视状态.一半的美国成年人都在 联邦面孔公认 数据库和简单地解锁你的手机意味着你可以匹配的数据库。更好的 "瞄准" AI 必然意味着更强的监视。这是一个不舒服的权衡, 但随着 AI 准备 paradigmatically 改变现代生活的方方面面, 包括健康, 安全, 交通等, 我们需要预测和防止这些攻击。

广告

更正: 本文的前一版本错误研究。日本研究人员设计了一个像素的攻击, 而麻省理工学院的研究人员使用3维打印龟来愚弄软件。我们对错误感到遗憾。

[石英 通过 麻省理工学院技术评论]