1.背景
网络空间（cyberspace）被称为陆、海、空、天之外的第五大主权空间，网络空间安全关乎国家安全和利益。随着云计算、物联网、移动互联网、大数据、人工智能等技术的部署应用，网络空间呈现组成结构复杂化、保护对象动态化、系统运行智能化等特点，这些变化给网络空间安全带来了新的挑战。
近年来，以机器学习为核心的人工智能技术在计算机视觉、语音识别、自然语言处理等方面取得了较好的应用效果，展现了机器学习在分类、预测及辅助决策方面的能力优势，也为解决网络空间安全问题带来了新的途径。目前，机器学习技术在恶意样本检测、dga域名检测、dns隧道检测、恶意加密流量检测、威胁情报挖掘等领域都有一定应用效果。然而，人工智能技术是把双刃剑。一方面可用于网络安全防护，提升防御者的能力，另一方面也可用于帮助攻击者增强攻击能力。此外，基于人工智能技术的各类系统，不仅面临来自软件、硬件、网络等方面的传统安全威胁（如：软件漏洞利用），还面临来自机器学习算法、模型等人工智能技术自身特有的安全威胁（如：对抗样本攻击）。
现阶段，人工智能安全已经成为工业界和学术界的热门话题，相关研究工作主要围绕人工智能自身安全和人工智能赋能安全两大方向，相关理论和技术还在不断发展，仍存在不少问题和挑战。
本文主要对人工智能安全的概念含义和研究内容进行了介绍，并说明了天融信智能安全研究团队在人工智能安全方面的技术研究、积累和实践。
2.人工智能安全概念
中国工程院方滨兴院士指出了新技术和安全之间存在的两种关系：第一种是新技术服务于安全即新技术赋能安全，既可以服务于防御，也可以服务于攻击。第二种是新技术引入新的安全问题即新技术和安全是伴生关系。人工智能作为新技术，即可以赋能网络安全，提升网络防护能力，也可以被恶意利用，增强攻击性和破坏影响力。同时，人工智能技术自身存在脆弱性，如果被攻击者利用，可能引发的新的安全风险[1]。
综合分析，人工智能安全概念应该从人工智能的自身安全和人工智能的安全应用两方面去理解（见图1）。
人工智能的自身安全指人工智能应用的自身脆弱性带来的安全问题，具体分为两类：
传统安全：指人工智能应用系统中软硬件方面脆弱性带来的安全问题。例如，自动驾驶系统软件漏洞被利用而植入恶意代码，导致车辆无法正常运转。
特有安全：指人工智能应用系统中机器学习算法、模型脆弱性带来的安全问题。例如，自动驾驶系统的图像分类算法受到对抗样本攻击，导致路标识分类错误，进而造成车辆行驶决策失效。
人工智能的安全应用指以人工智能相关技术为支撑的安全应用，包括：
安全防御：指基于人工智能的安全检测、安全防护等应用。例如，入侵检测。
安全攻击：指基于人工智能的入侵隐藏、行为欺骗等应用。例如，社会工程攻击。
3.人工智能安全研究
3.1.人工智能的自身安全
3.1.1.安全风险分析
国际标准化组织iso将人工智能系统全生命周期概括以下8个阶段：
初始：指将想法转化为有形系统的过程，主要包括：任务分析、需求定义、风险管理等过程。
设计研发：设计研发阶段是指完成可部署人工智能 系统创建的过程，主要包括：确定设计方法、定义系统框架、软件代码实现、风险管理等过程。
检验验证：指检查人工智能系统是否按照预期需求工作以及是否完全满足预定目标。
部署：指在目标环境中安装和配置人工智能系统的过程。
运行监控：人工智能系统处于运行和可使用状态，主要包括：运行监控、维护升级等过程。
持续验证：对于开展持续学习的人工智能系统进行持续检验和验证。
重新评估：当初始目标无法达到或者需要修改时，进入重新评估阶段。该阶段主要包括：设计定义、需求定义、风险管理等过程。
废弃：使用目的不复存在或者有更好解决方法替换的人工智能系统，主要包括：数据、算法模型以及系统整体的废弃销毁过程。
各阶段对应的安全风险如下（图2）[2].
3.1.2.安全框架设计
安全框架是构建安全体系的重要指导。围绕人工智能系统生命周期安全风险，中国信息通信研究院设计一个比较完整人工智能安全框架[2]。
该框架聚焦于人工智能自身安全问题，即主要解决人工智能基础设施和人工智能设计研发面临的安全风险，以及因前两方面安全问题直接引发的人工智能应用行为决策失控安全风险。该框架包含：安全目标、安全能力、安全技术和安全管理四个维度。其中，安全目标是保障人工智能应用安全的起点和基础，安全能力是实现安全目标的有效保障，安全技术和安全管理是安全能力的支撑和体现。其中，技术和管理维度具体内容如下 (图4)。
3.1.3.研究内容
人工智能安全框架（技术和管理部分）总体上覆盖了人工智能安全技术和管理体系范围，也是人工智能应用自身安全研究的主要范围。其中，业务合规性评估、漏洞挖掘修复等都属于传统安全研究范围。而对抗样本检测、算法鲁棒性增强、数据分布修正等则属于机器学习算法、数据、模型相关特有安全研究范围。
当前，人工智能机器学习相关的特有安全研究主要指对抗机器学（adversarial machine learning,aml）即在对抗环境下的机器学习系统攻击和防御两个方面，这也是人工智能安全研究最核心、最热门的研究话题。以下主要对这两方面内容进行介绍[3]。
3.1.3.1.相关术语
对抗样本(adversarial example)：为使模型出错而对原始样本精心扰动的样本。
对抗训练(adversarial training)：使用原始训练集和对抗样本共同训练机器学习模型。
敌手(adversary)：实施攻击者。
白盒攻击(white-box attack)：攻击者拥有目标模型全部知识的攻击,包括：参数值、模型结构、训练方法、训练数据等。
黑盒攻击(black-box attack)：攻击者仅拥有模型有限知识的攻击（例如，只知道模型的反馈结果）。
灰盒攻击（gray-box attack）：攻击者仅了解模型的部分信息的攻击（例如，只知道模型结构，但不知道参数）。
3.1.3.2.对抗攻击
人工智能应用的机器学习过程涉及训练数据、传统信道、目标模型、推测结果等保护对象，攻击者可以根据其所拥有的条件，针对整个学习过程发起相应的攻击，说明如下：
投毒攻击：该攻击通过修改一定数量的训练数据使模型训练过程产生错误的关系输出。该攻击发生在训练阶段，攻击目标是训练数据集。攻击者具有获取、修改或创造训练数据集的能力，知道训练数据集的标签等背景知识。
对抗样本攻击：该攻击通过构造对抗样本，使模型推测过程产生错误结果。攻击发生在推理阶段，攻击目标是测试数据集。攻击者具有获取和修改测试样本的能力，知道标签等背景知识。
数据窃取攻击：该攻击通过存储和通信机制的漏洞、查询或反演技术等多种手段，窃取机器学习隐私信息(如：训练数据、模型训练方法和训练参数)。该攻击大部分发生在黑盒攻击中，攻击者仅具有窃取部分数据的能力。
隐私询问攻击：指攻击者在无法获取训练数据和模型数据情况下，仅通过观察测试数据输入模型后返回的结果即询问结果的方式实施隐私信息的计算和推测。
主要攻击类型：成员推理攻击：指攻击者根据询问结果判断出某个个体是否参与模型训练。训练数据提取攻击：指攻击者利用询问数据与已有知识推测训练数据隐私的攻击。模型提取攻击：指攻击者利用询问接口获得模型的分类与测试输入输出数据，从而重构一个与原模型相似的模型的攻击。
3.1.3.3.对抗防御
与上述攻击相对应的安全防御机制也有多种，主要包括：正则化、对抗训练、防御精馏、隐私保护等，说明如下：
正则化：指通过对训练数据和模型规范化操作，降低模型的出错率。训练数据的正则化可以防御训练数据投毒攻击，提高模型泛化能力，主要包括数据集增强、数据集扩充等措施;模型的正则化可以防御对抗样本攻击,主要利用正则化项对模型参数和训练方式进行规范化处理。
对抗训练：指使用对抗模型生成带有完全标注的对抗样本和合法样本混合起来对原模型进行训练的过程。主要目的是学习对抗样本和正确标签的关系，提升模型鲁棒性。
防御精馏：指通过一个模型的输出训练另一个模型的机器学习算法，是在保证训练精度条件下压缩模型方法，可以增强模型面对对抗样本攻击的鲁棒性。
隐私保护机制：数据窃取攻击和隐私询问攻击主要针对模型和数据的隐私。加密、扰动等机制可以保护数据和模型的隐私。分布式机器学习、差分隐私等机制可以使模型以隐私保护的方式进行学习。
3.2.人工智能的安全应用
3.2.1.人工智能赋能安全的工作流程
如图所示，人工智能赋能安全应用的工作流程包括：安全问题抽象、数据采集、数据预处理及安全特征提取、模型构建、模型验证以及模型效果评估6个阶段，各阶段不能独立存在，相互之间存在一定的关联关系。例如，数据采集、数据预处理、模型构建都需要不断获取模型验证阶段的原因分析结果作为优化调整依据[4]。
安全问题抽象：即将网络空间安全问题映射为机器学习能够解决的问题类别。
数据采集：指利用数据采集手段（如wireshark、netflow、日志收集工具等），从系统层、网络层及应用层采集数据。除自行采集数据外，还可以使用公开数据集。
数据预处理及安全特征提取：数据预处理主要指对原始数据进行清洗和处理，主要包括：对数据规范化、离散化以及非平衡性的处理等过程。安全特征提取指从预处理后的数据中代表安全问题的本质特性的属性。特征提取操作除了采用人工方式还可以基于深度学习的自动化方式。
模型构建：指根据数据预处理后的数据集及目标问题类型，选择合适的学习算法，构建求解问题模型的过程，具体工作包括：算法选择和参数调优。
算法选择：在机器学习领域，按照数据集是否有标记分为监督学习算法（常用于分类问题和回归问题）、无监督学习算法（常用于聚类问题）。常见监督学习算法：逻辑回归（logistic regression, lr）、人工神经网络（artificial neural network, ann）、支持向量机 （support vector machine, svm）、决策树、随机森林、线性回归等。常见非监督学习算法：k-means, k-近邻（k-nearest neighbor,knn）、基于密度的dbscan（density based spatial clustering of applications with noise）算法、层次聚类（hierarchical clustering）算法、图聚类算法等。此外，还有深度学习、迁移学习、深度增强学习算法以及生成对抗网络等算法。
参数调优：参数调优与训练目标、选择的算法相关，当前该过程还缺乏足够的理论指导，需要在庞大的参数空间来寻找可接受的参数或者依据个人经验进行调整。
模型验证：指评估训练模型是否足够有效的过程。如果当前模型与训练目标偏离较大，则通过分析误差样本发现错误发生的原因，包括模型和特征是否正确、数据是否具有足够的代表性等。如果数据不足，则重新进行数据采集；如果特征不明显，则重新进行特征提取；如果模型不佳，则选择其他学习算法或进一步调整参数。目前，k倍交叉验证法是最常见的验证模型方法。
效果评估：指评估模型的学习效果以及泛化能力的过程。泛化能力的评估通常是对测试集进行效果评估。不同领域有不同指标的提法，常见的效果评估指标包括：精确率、召回率、准确率、f-score以及roc-auc曲线等。
3.2.2.安全防御
基于人工智能的安全防御研究基本涵盖了网络空间安全的各个层面，可以从系统安全、网络安全、应用安全三个层面进行归纳（图9）[4]。
系统安全类：系统安全应用涵盖了芯片、系统硬件及物理环境、系统软件三个层面。其中，芯片安全包括：劣质芯片检测、硬件木马检测及物理不可克隆函数(physical unclonable function,puf)攻击等；系统硬件及物理环境安全包括：设备身份认证、密码设备侧信道攻击及伪基站检测等；系统软件安全包括：漏洞分析与挖掘、恶意代码分析、用户身份认证及虚拟化安全等。
网络安全类：网络安全应用涵盖了网络基础设施安全以及网络安全检测两个方面。其中，网络基础设施安全包括：bgp的异常检测、恶意域名检测等；网络安全检测包括：僵尸网络检测、网络入侵检测以及恶意加密流量识别等。
应用安全类：应用安全涵盖应用软件安全和社交网络安全两个方面。其中，应用软件安全主要包括：垃圾邮件检测、恶意url识别、恶意pdf检测等；社交网络安全主要包括：社交网络异常帐号检测、信用卡欺诈检测、取证分析、网络舆情等。
3.2.3.安全攻击
基于人工智能的安全攻击覆盖了网络空间不同层面，包括：物理攻击、网络攻击、数据攻击、应用攻击等。典型的攻击场景包括：拒绝服务攻击、社会工程攻击、恶意代码对抗等。围绕网络空间安全典型场景的主要研究内容如下所示（图10）[5]。
网络资产自动探测识别：指追踪、掌握网络资产情况的过程技术。例如，通过引入机器学习、深度学习等方法，进行操作系统指纹识别。
自动化社会工程学攻击：指利用机器学习、神经网络等方法实现钓鱼式攻击、蠕虫传播、垃圾邮件散发等攻击过程的自动化。例如，基于自然语言生成（nlg)的自动化网络钓鱼攻击方法，可以利用深度学习分析文本内容，识别目标感兴趣的主题，生成目标可能响应的文本内容，并以邮件、社交网站等作为恶意代码传输载体实施攻击。
智能恶意代码攻击：指针对恶意代码检测的对抗性攻击。例如，在恶意代码中插入一部分对抗性样本，可绕过安全产品的检测。
自动化漏洞挖掘与利用：指在无人工干预的基础上自动化挖掘软件内部缺陷并利用该缺陷使软件实现非预期功能。
4.人工智能安全实践
通过人工智能技术赋能网络安全产品和服务，可以有效应对网络空间结构复杂化、安全大数据化、攻击动态演进等变化带来的挑战，增强安全产品的防御能力，提高安全服务人员的生产率。为此，天融信秉承“可信网络 安全世界”的理念，从技术研究和产品研发两个层面推进ai安全技术落地和实践 (图11)。
技术研究层面：公司成立了专业的研究团队，围绕人工智能技术的安全应用及人工智能应用的自身安全，全面展开技术探索，目前已经在dns隧道检测、dga域名检测、恶意pdf检测、恶意样本检测、恶意样本同源分析、安全实体识别、威胁情报挖掘、安全知识图谱、对抗样本生成等方面形成了技术积累。
产品研发层面：公司在安全检测、安全网关、安全云服务、大数据分析、数据安全、云安全、工控安全等产品方面全面实现了ai赋能，进一步提升了安全产品和市场竞争力。
5.后记
无论是人工智能自身安全还是人工智能的安全应用，相关研究工作对于推动网络空间安全发展都具有重要的意义。本文是人工智能安全研究方向的开篇介绍，后续将为读者介绍具体的技术研究成果和应用情况，敬请关注。
如文中描述有误，恳请指出，感谢阅读。
6.参考资料
[1]方滨兴 人工智能安全[m]北京 电子工业出版社 2020.
[2]中国信息通信研究院安全研究所 人工智能安全框架（2020年)[r] 2020年12月.
[3]李欣姣 等人 机器学习安全攻击与防御机制研究进展和未来挑战[j]软件学报 2021 32(2):406-423.
[4]张蕾 等人 机器学习在网络空间安全研究中的应用[j]计算机学报 2018 41(9):1943-1975.
[5]方滨兴 等人 人工智能赋能网络攻击的安全威胁及应对策略[j]中国工程科学 2021
wepoker官网入口的版权声明
（转载请务必注明出处。wepoker官网入口的版权所有，违者必究。）
- 关键词标签：
- 天融信 人工智能安全 天融信智能安全研究团队