关于Ai论文_南京有人研究“数据下毒”对抗AI黑客

杨子晚报网9月6日，你的自动驾驶车在道路上行驶，突然将“感冒”危险场面认为是安全场面，碰到障碍物……这不是危险的语言，而是“毒杀数据”来妨碍“人工智能”，可能会引起这样的危险。 南京学者开展了“数据中毒”的研究，想寻找防止“AI黑客”的完美方案。

研究“数据毒素”

为了防止人工智能的“中毒”

为什么在数据中下毒？ 创新工厂南京国际人工智能研究院执行院长表示，这样的研究不仅仅是揭示AI入侵的危险，还希望通过研究切实制定防止“AI黑客”的完善方案。

9月4日，被称为机器学习和神经网络领域领先会议之一的NeurIPS 2019发表了论文清单，发表了革新工厂南京国际人工智能研究院的论文《深刻困惑:如何利用自我编码器生成恶意训练样本》。

“名字表明，“数据毒”使训练数据“中毒”。 ”冯智告诉记者，论文正在开展关于现阶段人工智能系统安全性的研究。

深刻的学习需要大量的训练数据，如果数据被黑客“毒化”，结果是无法想象的。 论文提出了一种有效生成抗训练样本的方法，通过微弱的干扰数据库方法，彻底破坏了相应学习系统的性能，达到了“数据毒”的目的。

冯智认为，开发机器人视觉技术的公司想让训练机器人认识到现实场景的器物、人员、车辆等，结果误以入侵者在论文中提到的方式篡改了训练数据。 研究开发人员在目视检查训练数据时，经常不会感知到异常(因为在图像水平上肉眼难以识别数据“中毒”的噪音数据)，训练过程也在顺利进行。 但是，用这种模型驱动的机器人，在真实的场景中完全是“无知”，陷入了无法识别的尴尬境地。

更可怕的是，如果黑客在“下毒”时使用了噪音数据，那么训练过的机器人的视觉模型就会“故意错误”，例如应用于自动驾驶的人工智能会将故障识别为通道，或者将危险场景标记为安全场景。

这个会议有多受欢迎？

与会者比追星票几分钟就卖光了

普通人不知道NeurIPS这个名字，但NeurIPS在AI业界的人中很受欢迎。 这个会议有多受欢迎？据说会议票像明星音乐会一样难夺，几分钟之内就卖完了矶。

NeurIPS全名神经信息处理系统大会( conferenceandworkshoponneuralinformationprocessingsystems )自1987年诞生以来已有32年的历史，引起了学术界和产业界的关注。 该会议每年12月召开，由NIPS基金会主办。 在我国计算机学会国际学术会议排行榜上，NeurIPS是人工智能领域的a级会议，也是人工智能领域最着名的年度会议之一。

据记者介绍，今年的NeuralPS大会备受瞩目。 本次会议投稿数创历史新记录，全球学者共提出6743篇有效论文，接受率仅为21.17%。 由于帖子过多，NeuralPS帖子服务器暂时关闭。