智东西（公众号：zhidxcom）
用一张“神奇贴纸”挡住脸，就能轻松骗过门禁系统，乃至1秒解锁手机人脸识别……这并非什么科幻故事，而是首届人工智能安全大赛颁奖典礼现场展示的真实攻防场景。
▲大赛工作人员演示对抗样本攻击人脸识别门禁系统
随着人工智能（AI）技术日渐普及，其带来的新的风险与隐患也日益受到关注。
为了推动人工智能攻防技术创新、实战演练、场景挖掘和人才培养，国家工业信息安全发展研究中心、清华大学人工智能研究院和北京瑞莱智慧科技有限公司等单位联合主办了首个全国性人工智能安全赛事——AISC首届人工智能安全大赛。
本届大赛以“共筑AI安全 安享智能未来”为主题，吸引了来自全国范围内70多所高等高校、科研院所、企业机构的超过400支团队，共计600余名选手的踊跃参与。
经过3个月的角逐，9月19日，AISC首届人工智能安全大赛正式收官。
最终，上海交通大学联合战队“AreYouFake”与北京交通大学战队“BJTU-ADaM”分别摘得深度伪造安全与自动驾驶安全赛道桂冠，北京理工大学战队“DeepDream”与建信金科战队“Tian Quan&LianYi”共同位列人脸识别赛道第一名。
▲深度伪造安全竞赛前三名
▲自动驾驶安全竞赛前三名
▲人脸识别安全竞赛前三名
同期举办的主题论坛，邀请到多位院士专家、行业领袖、政企代表出席，共同探讨如何在未来智能的全新战场，打赢技术攻防之战。
一、聚焦 AI 应用典型漏洞，比拼三大赛题攻防技术创新
安全的本质在于对抗升级，构建安全需要一个持续攻防演进的过程。
瑞莱智慧CEO田天说，本届人工智能安全大赛聚焦AI真实应用场景中的典型漏洞及风险，以赛促建、以赛促研，通过考核参赛队伍的漏洞发现、漏洞挖掘等能力，探索新型安全需求场景，推动AI攻防技术创新，为强化AI治理体系与安全评估能力建设提供支撑。
▲瑞莱智慧CEO田天
结合具体赛题来看，自动驾驶安全赛题、人脸识别安全赛题从攻击视角出发，通过让选手攻击目标模型挖掘算法漏洞，旨在发现更加稳定的攻击算法，以更好的实现准确评估模型的安全性。
深度伪造安全赛题则通过分析伪造音视频的相似性，来溯源不同伪造内容是否来自同一种或同一类生物特征生成软件，以促进对深度伪造检测技术的发展，具有重要的现实意义。
在他看来，AI当前的安全风险主要可以从“人”与“系统”这两个视角来剖析。人可能会滥用AI技术或将AI“武器化”，负向应用风险持续加剧；现场的人脸识别破解演示则揭示了系统的风险，它来自于深度学习算法本身的脆弱性。
二、 AI 安全问题的 3 个典型新特征
经过所有选手的提交，田天发现AI安全问题具有以下3个非常典型的新特点：
1、AI技术溢出效应强，因此风险更为普遍。AI技术作为一项通用的普适性的技术，在许多领域作为通用共性基础设施存在，在非常多不同的领域都有通用或共同的技术发挥作用，比如在自动驾驶、智能制造、智慧城市等领域，背后都是相似的深度神经网络算法，这也导致另外一方面问题，一旦在AI技术底层出现安全隐患或者安全漏洞，它的影响面非常巨大，可能在我们日常生产生活的方方面面都会带来不良的影响。
2、技术复杂程度高，风险更难被察觉。模型越来越大、参数越来越多、结构越来越复杂，对研发人员和使用者呈现“黑盒”的状态，无法获知AI系统本质的每个细节的决策逻辑是怎样的。其不可解释性，使得我们很难事先看到它的安全隐患存在于什么地方。典型的就比如现场演示的“神奇贴纸”，其实就是“对抗样本攻击”，通过在输入数据中添加扰动，使得系统作出错误判断。
在自动驾驶感知系统，这一漏洞同样存在。瑞莱智慧演示了用对抗样本攻击自动驾驶汽车。正常情况下，在识别到路障、指示牌、行人等目标后，自动驾驶车辆就会立即停车，但在目标物体上添加干扰图案后，车辆的感知系统就会出错，径直撞上去。
3、AI安全战略意义逐步凸显，风险维度在增加。从社会民生到国家安全，AI技术战略意义日益凸显，除了公共安全、个人权益相关的场景，AI安全已经影响到包括政治进程与国家安全的方方面面。比如利用深度伪造技术，一些针对政坛名人的伪造视频在互联网上传播，对舆情产生显著影响，这类技术对于国际竞争、国家安全产生非常重大影响。
构建AI的安全生态，一方面需要技术的持续演进，一方面也需要专项技术人才的建设与培养。
田天说，由于AI安全研究目前仍属于新兴领域，专项人才较少，缺乏系统性的研究队伍，本次大赛通过实战演练的方式，全方位验证和提升选手实战能力，为培育一批高水平、高层次的AI安全新型人才团队提供了“快速通道”。
三、《人工智能算力基础设施安全发展白皮书》发布
除了算法层面的安全性问题外，算力作为AI发展的重要基础设施，也面临着诸多风险，推动AI算力基础设施安全发展具有重要意义。
活动期间，由国家工业信息安全发展研究中心牵头，联合华为和瑞莱智慧共同撰写的《人工智能算力基础设施安全发展白皮书》正式发布。
该白皮书围绕AI算力基础设施安全发展的意义、内涵与体系架构、安全管理现状、发展建议等方面展开深入研究。
根据白皮书，AI算力基础设施不同于传统的算力基础设施，既是“基础设施”又是“AI算力”也是“公共设施”，具有基建属性、技术属性、公共属性三重属性。
相应地，推动AI算力基础设施安全发展应从强化自身安全、保障运行安全、助力安全合规三个方面发力，通过强化自身的可靠性、可用性与稳定性，保障算法运行时的机密性与完整性，提升用户的安全管控力、认可度与合规性等八个领域筑牢AI安全防线，打造可信、可用、好用的AI算力底座，营造安全、健康、合规发展的AI产业生态。
四、没有高水平安全，就没有高质量发展
统筹发展和安全，是每项新技术发展过程中面临的必然问题，如何实现高水平发展和高水平安全的良性互动，也是当前AI产业发展最为重要的命题。现场多位专家就此话题展开分享，探索AI安全建设的新思路与新路径。
AI对抗攻防包括对抗样本、神经网络后门、模型隐私问题等多方面技术。
模型有错误就需要进行及时的修复，中国科学院信息安全国家重点实验室副主任陈恺提出“神经网络手术刀”的方法，通过定位引发错误的神经元，进行精准“微创”修复。
他谈道，不同于传统的模型修复工作需要重新训练模型，或者依赖于较大量的数据样本，这种方式类似于“微创手术”，只需极少量或无需数据样本，能够大幅提升模型修复效果。“对后门来说，相对传统方法修复攻击成功率，我们能降到0.8%。”陈恺说。
对于如何解决通用AI算法全周期的安全保障问题，北京航空航天大学软件开发环境国家重点实验室副主任刘祥龙认为，目前AI算法及系统的安全性缺乏科学评测手段，难以有效评测完整的AI模型和算法能力。从技术上来看，应形成从安全性测试到安全性分析与安全性加固的完整技术手段，最终形成标准化的测试流程。
在他看来，未来的AI安全应该围绕从数据、算法到系统各个层次上的全面评测，同时配合一套整体的从硬件到软件的安全可信计算环境。
工商银行金融研究院安全攻防实验室主管专家苏建明建议，AI安全治理需要广泛协作和开放创新，需加强政府、学术机构、企业等产业各参与方的互动合作，建立积极的生态规则。
政策层面加快AI的立法进程，加强对AI服务水平、技术支撑能力等专项监督考核力度。
学术层面，加大对AI安全研究的激励投入，通过产学研合作模式加快科研成果的转化与落地。
企业层面，逐步推动AI技术由场景拓展向安全可信发展转变，通过参与标准制定，推出产品服务，持续探索AI安全实践及解决方案。
结语： AI 安全领域关键技术研究亟待提速
人工智能安全大赛为AI安全攻防研究提供了技术交锋和思维碰撞的平台，通过竞赛的方式挖掘攻击与防御技术新思路，同时连接产业侧真实安全需求，并为推动AI安全标准及能力建设提供了参考。
多位与会专家表示，重视AI安全体系建设，既是当务之急，也是长远考虑，需加快促进AI安全领域关键技术研究与攻防实践。
