阿里发布新一代安全架构核心技术“AI安全诊断大师”

如同一些出生免疫力即有缺陷的人一样，AI天生也存在免疫力缺陷。例如，车辆的辅助驾驶和自动驾驶系统会因算法技术缺陷丧失识别交通指示牌的能力，成为“没有视觉系统”的汽车，从而给出错误的决策，遇到大型障碍物时“看不到”停车标志，一头撞上去。

如同一些出生免疫力即有缺陷的人一样，AI天生也存在免疫力缺陷。例如，车辆的辅助驾驶和自动驾驶系统会因算法技术缺陷丧失识别交通指示牌的能力，成为“没有视觉系统”的汽车，从而给出错误的决策，遇到大型障碍物时“看不到”停车标志，一头撞上去。

AI模型对微小扰动很敏感，一些细微不可见的改动就可以引起算法上的巨大误差，往往带来可怕的安全威胁。基于从源头打造安全免疫力的新一代安全架构理念，最近，阿里安全发布了一项核心技术“AI安全诊断大师”，可对AI模型全面体检，“看诊开方”，让AI模型出生就自带增强型免疫力，抵御安全威胁。

“AI安全诊断大师”包括一款对AI模型安全性进行评测和防御的工具箱，对多个云上算法接口进行安全性测试后，还沉淀出一套在实际生产中能对恶意攻击进行过滤，降低安全风险的AI防火墙系统。

据阿里安全图灵实验室高级算法专家华棠介绍，“AI安全诊断大师”提供了全方位的体检与诊断开方服务，对AI模型进行体检后，通过诊断算法可能出错的特殊情形，给模型防御增强提供细化“健康”指导。

值得注意的是，这种“安全诊断”看得见。“AI安全诊断大师”提供了一个可视化界面，以模型的损失曲面分析图呈现被评估AI模型的输入扰动及响应表现，可以直观地看出AI模型的总体安全性能，曲面越平缓，AI遭遇攻击时，抵御攻击的能力更强。

“AI安全诊断大师”的可视化诊断结果界面

除了提供总体安全性能评估的“体检报告”，“AI安全诊断大师”可通过指定评测数据集生成针对某几种特定攻击的性能报告，提供不同攻击算法下更细化的安全性指标。它可以提供即插即用的安全能力，对于那些不方便“面诊”的“患者”，比如只能提供API接口的AI服务，“AI安全诊断大师”提供“云体检”服务，只需调用接口即可评测AI的安全性。

“AI安全诊断大师”给多个算法API出具的遭遇攻击的体检报告

“AI安全诊断大师”检测到算法服务的潜在安全风险后，还有针对恶意攻击的防火墙功能，定制化提供防御升级的建议。

“将多种攻击检测和对抗防御方法作为附加模块，可为AI模型部署前置服务，在不修改原模型的基础上，提升模型对于对抗样本攻击的防御性能，降低用户使用成本和风险。经过在色情、暴恐、敏感图像识别等多种内容安全服务上的测试，‘AI安全诊断大师’可将模型对外部攻击的有效防御能力整体提升40%以上。”华棠说。

不久前，阿里安全曾发布了一个高效打造AI深度模型的“AI训练师助手”，让AI训练模型面对新场景时不用从头学习，直接从已经存在的模型上迁移，迅速获得别人的知识、能力，成为全新的AI模型，将模型打造周期从一个月缩短为一天。在阿里新一代安全架构的指导下，阿里安全图灵实验室不断致力于磨砺出提升AI效率，保障AI安全的技术和产品，推动AI安全的相关技术更好地应用于实际场景中。

中国科学院计算技术研究所副研究员王树徽评价：“阿里安全从整体层面考虑了人工智能安全的架构性漏洞，提出了‘安全基建’的构想和技术系统。在关键技术层面，集成了最新的AI攻防技术，充分考虑了人工智能安全攻防两端的应用需求，分析结果可解释性强，易于理解并指导实践。在实用层面，提供了一套切实可行、即插即用的解决方案，定制化提出防御升级方案，帮助广大人工智能技术实践者有效提高其算法系统的免疫力和安全水平。此外，阿里安全的新一代安全架构的应用成果也有望促进人工智能技术的发展和进步，为新一代人工智能的理论方法研究提供了支持。”

目前阿里安全正与相关部门、企业、高校一起参与人工智能安全标准的制定，“AI安全诊断大师”的落地成果也作为优秀应用案例，被收录于全国信息标准化技术委员会打造的《人工智能安全标准化白皮书(2019版)》。

加入NISP、CISP课程学习网络安全行业

报考联系人nisp证书管理中心丹丹老师

微信号：nisptest/13520967307