王玲 吴治海
【摘要】 本文研究了重放攻击下具有切换拓扑的一阶离散多智能体系统的安全一致性问题。针对重放攻击，本文提出了一种基于分布式模型预测控制的一致性协议，推导出了多智能体系统在重放攻击下实现安全一致性的充分条件。通过数值算例说明了一致性协议的有效性。
【关键词】 多智能体系统 重放攻击 安全一致性 模型预测控制
引言：
多智能体系统的安全性问题逐渐成为了热门的新兴研究方向之一。多智能体系统分布式协同控制的一个关键问题是仅利用智能体之间的相对信息来设计分布式控制器，使所有的智能体最终达到状态一致[1]。在实际应用中，在信息传输过程中往往会遇到很多攻击。例如在文献[2]中对网络安全控制进行了建模和分析。
近年来，关于多智能体系统的分布式安全控制有了一些研究结果[3-7]。Zhu等人考虑到攻击者是否可以在线调整其进攻战术，提出了两种新型攻击-安全分布式控制算法来应对虚假数据注入攻击，允许操作员利用最新收集的有关攻击者的信息来调整防御策略，两种算法都使车辆能够从任何初始配置和攻击者策略的初始估计中渐近地实现所需的编队[3]。Feng等人考虑到攻击网络拓扑的边而不是节点智能体会导致安全性能的损失的情况，分析了系统在两种连通性攻击下的分布式协同控制问题[4]。
实际上重放攻击也是对多智能体系统的主要网络威胁。Mo和Sinopoli首先分析了重放攻击对控制系统的影响[8]。Zhu和Martínez在[9]中考虑了二阶多智能体系统在重放攻击下的编队控制问题，提出了一种基于滚动最优控制方法的新型分布式弹性算法，并证明了该算法能使车辆在重放攻击下渐近地达到期望的编队。文献[10，11]分别提出了基于水印控制策略和随机博弈理论的重放攻击检测方法。然而，事实上，尽管重放攻击已经被检测到如果它们不能尽快被处理，重放攻击依旧会使系统不稳定。另外，智能体之间相对位置不是固定不变的。基于上述考虑，本文研究了具有重放攻击的一阶离散多智能体系统在重放攻击下的安全一致性问题。
一、 预备知识
1.1 图论基本知识
令G=（V，E，A）代表系统的拓扑图，其中V={1，2，...，N}表示节点的集合，表示边的集合。A=[aij]∈RN×N是一个具有非负邻接元素aij的加权邻接矩阵，同时对于所有的i∈I，有aij=0。（i， j）代表节点i与节点j之间的边。如果aij≥0，则有（i， j）∈E，代表节点i能够收到j的信息，称j是i的邻居。节点i的邻居点集表示为。图G的度矩阵D=diag（[d1，...，dN]）∈RN×N，其中。相应的，图G的拉普拉斯矩阵定义为L=D-A∈RN×N。如果兩个不同的节点i，j之间一条确定的边，即节点i，j存在一条可达路径。另外，如果有向图G中存在至少一个节点，使得从其他任何节点到这个节点都存在有向路径，那么这个节点就称为图的根节点，同时称图G包含一棵有向生成树。
1.2符号说明
R表示实数集，RN表示N维实数向量空间，RN×M表示N×M维实数矩阵空间。定义I={1，2，...，N}。IN代表N维实单位矩阵。1N代表每个元素都为1的N维列向量。对于任意矩阵A，AT表示矩阵A的转置矩阵，A-1代表着矩阵A的逆矩阵。λi（A）和λmax（A）分别表示矩阵A的第i个特征值和最大特征值。diag{a1，a2，...，aN}代表以a1，a2，...，aN为对角元素的对角矩阵。[x1，x2，...，xN]是由元素xi，i∈I构成的N维列向量。对于矩阵A=[aij]∈RN×M，如果所有aij≥0，那么有A≥0，且称A为非负矩阵。令B=[bij]∈RN×M。如果有A≥B，等同于矩阵A-B≥0。
若矩阵A∈RN×N是非负矩阵，如果矩阵A满足A1N=1N，即A行和为1，则称A为随机矩阵。给定随机矩阵A∈RN×N，如果存在f∈RN使得矩阵A满足limk→∞Ak=1N f，则矩阵A又称为SIA矩阵（Stochastic， Indecomposable， Aperiodic）。
二、 问题描述
2.1系统模型
考虑一个具有N个智能体的系统，一阶离散时间多智能体系统的模型可以描述为
其中，xi（k）∈R代表智能体i的状态信息，ui（k）∈R代表控制协议，T为采样周期。
定义3.1 如果每个智能体在任何初始状态下的状态都满足
就称系统（1）实现了一致性。
假设1 图G是有向的。
2.2重放攻击者模型
在多智能体系统中，本文考虑的一类智能体自身状态信息和控制协议是可以实时获取的，数据传输过程一般出现在智能体与邻居之间的状态信息交流中。由于重放攻击在任意两个智能体之间的数据传输过程都有可能发生，所以智能体j发送状态信息给智能体i的通信信道上可能存在的重放攻击者，可以表示为rij，同时每个攻击者rij都配备内存Mij（k）。假设攻击者rij在k0时刻截取智能体j发送给智能体i的状态信息包xj（k0），并存放在内存Mij（k0）中。τij（k）代表攻击者rij在k时刻生成的连续攻击次数。当k>k0，如果攻击者rij在k时刻不发动攻击，即τij（k）=0，那么k时刻的内存Mij（k）依旧等于xj（k0）;如果攻击者rij在k时刻发动攻击，即τij（k）>0，那么攻击者rij在[k，k+τij（k）]时间段内将执行以下步骤：
1. 攻击者rij截取正在传输的状态信息xj（k），并将xj（k）替换为存储在内存Mij（k）中的状态信息xj（k0）。
2.攻击者rij保持内存不变，即Mij（k+1）=Mij（k）。
3. k=k+1，重复上述步骤。
基于以上描述，攻击者模型可以简单地概括为：
其中，sij（k）=1意味着有攻击发生，反之，sij（k）=0意味着攻击者rij没有发动攻击。
重放攻击的发动是需要一定能量的，并且攻击者的能量也是有限的。本文假设每个智能体只知道攻击者能够发动的最大连续攻击次数τmax。
假设2 τmax≥ 1且τij（k）≤τmax。
2.3 针对重放攻击的分布式安全一致算法
我们令每个智能体的预测时域H≥τmax+1，同时收集智能体i的预测信息xi（k+h|k），h=1，2，...H，则我们可以得到智能体i的状态信息序列为并可以写成如下形式：
其中
同时，切换拓扑下智能体i在时刻k的参考状态表示为：
其中，0≤τij（k）≤τmax，τij（k）根据重放攻击是否存在可以表示为如下形式：
根据算法需要，接着定义参考状态序列Zi（k）=[zi（k），zi（k），...，zi（k）]T。
在系统（1）的基础上，对每个智能体i建立如下的MPC代价函数，并在时刻k计算控制协议序列Ui（k）。
将等式（3）代入等式（4），令ei（k）=xi（k）-zi（k），并对等式（5）求，可以得到智能体i的控制协议序列。
其中。因此，得到了智能体i的控制协议。
当k≥0，智能体i执行以下步骤：
1.智能体i通过等式（4）计算Xi（k），并将Xi（k）传输给其附近的智能体，同时接收邻居智能体的状态信息序列Xj（k）。
2.如果sij（k）=0，智能体i更新自身内存， 执行控制协议ui（k|k）。如果sij（k）=1， 智能体i使用保存在Mij（k）中的， 令并执行控制协议ui（k|k）。
3.重复k=k+1。
假设3 攻击总是可以被检测到的。
三、收敛性分析
在本节中，我们将对切换拓扑下的多智能体系统（1）进行一致性分析，并将从理论上证明安全一致性协议（7）的有效性。定义，m=0，1，...，τmax，并令xi（k|k）=xi（k），那么可以得到
如果包含生成树，则也包含生成树。此外，对任意的，如果是随机矩阵且存在正标量μ∈（0，1）使得即Mi的生成树根节点有自环，则Mi是SIA矩阵。
引理2[14] 设m≥2是正整数，且矩阵是对角线元素为正数的非负矩阵，那么有
其中，γ>0，Pi，i=1，2，...，m。
引理3[13]设A是一个随机矩阵。如果G（A）有一棵生成树，且生成树的根节点在G（A）中有自环，则A为SIA矩阵。
引理4[15] 设是SIA矩阵的有限集合。对于每个长度为正的序列，矩阵的乘积为SIA矩阵。那么，对于每个无穷序列，存在一个向量f，使。
接下来，将给出本章主要研究结果。
定理1设是Z+的任意有限子集。在假设1、假设2和条件（10）的前提下，如果存在一个时刻无穷序列，其中k0=0，，，以至于存在联合生成树，则多智能体系统（1）应用安全一致协议（7）能够实现一致。
证明：令，则有
是非负的，那么很容易推出也是非负的。如果在条件下联合图存在联合生成树，显然也含有联合生成树。通过引理1，联合图也包含生成树。
通过引理2，可以得到
其中γ>0。因此含有联合生成树，这意味着也含有联合生成树。
因为aij（k）是从一个有限集合中选择的，所以所有可能的集合都是有限的。且必须有一个正标量μ∈（0，1）使得，则有以下计算
通过推导，我们可以证明。如果，则F具有引理1中的形式。当，F表示如下
令F的前N行为，有F0≥IN。通过引理1，可以得出生成树的根节点含有自环。
显然，随机矩阵的乘积依旧是随机矩阵，则可以得到也是一个随机矩阵。通过上述推导和引理3，可以推出是SIA矩阵。又因为aij是有限的，显然所有m下的也是有限的。根据引理4，可知，其中且f≥0。
当k≥0，设mk为使的最大整数。则系统（9）可以写成如下形式
因此，对于i∈V，可知。多智能体系统（1）应用一致协议（7）能够达到一致。证明完成。
四、数值仿真
在本小节中，将通过数值仿真来验证协议（7）的有效性。以下是多智能体系统三个不同的有向拓扑图。
假设所有边的权重为1，选择参数T=0.2，λ=1。从G（1）开始，每Ts切换至下一个拓扑图。8个智能体的初始位置信息为
我们考虑以下三种重放攻击情况：
1. H=21，τmax=0，即无重放攻击发生，多智能体系统未使用所设计算法;
2. H=21，τmax=20，sij（k）=0当且仅当k=γ（τmax+1）+1，γ为从0開始的连续自然数。否则，sij（k）=1。多智能体系统未使用所设计算法;
3. H=21，τmax=20， sij（k）=0当且仅当k=γ（τmax+1）+1，否则，sij（k）=1。多智能体系统使用所设计算法。
对于情况（1）， （7）可以以最快速度使系统收敛一致。
图3可以看出攻击会导致多智能体系统不能实现安全一致。当系统使用所设计算法，由图4可以看出即使攻击几乎始终存在系统也能最终达到安全一致。
五、结束语
本章研究了重放攻击下具有切换拓扑的一阶多智能体系统的安全一致性问题。通过模型预测控制算法，所有智能体得到相应的安全一致控制协议。运用模型转化法，将原系统转化为系统矩阵随机的等效系统。接着通过应用图论知识和非负矩阵的性质，获得重放攻击下具有切换拓扑的一阶多智能体系统达到渐进一致的充分条件。
未來我们将研究具有切换拓扑的二阶多智能体系统的安全一致问题。
参 考 文 献
[1] Olfati-Saber， R.， Fax， J.， and Murray， R. （2007）. “Consensus and Cooperation in Networked Multi-Agent Systems”. Proceedings of the IEEE， 95（1）： 215-233. https：//doi.org/10.1109/JPROC.2006.887293
[2] Teixeira， A.， Shames， I.， Sandberg， H. and Johansson， K. （2015）. “A Secure Control Framework for Resource-Limited Adversaries”. Automatica， 51：
135-148， 2015. https：//doi.org/10.1016/j.automatica.2014.10.067
[3] Minghui Zhu and Sonia Martínez. （2014）. “On Attack-Resilient Distributed Formation Control in Operator-Vehicle Networks”. SIAM Journal on Control and Optimization. 52（5）：
3176-3202. https：//doi.org/10.1137/110843332
[4] Zhi Feng， Guoqiang Hu， and Guanghui Wen. （2016）. “Distributed Consensus Tracking for Multi-Agent Systems under Two Types of Attacks”. International Journal of Robust and Nonlinear Control， 26（5）：
896-918. https：//doi.org/10.1002/rnc.3342
[5] Zhi Feng and Guoqiang Hu. （2017）. Distributed Secure Average Consensus for Linear Multi-Agent Systems under Dos Attacks. Proc. American Control Conference， Seattle， WA， USA， 2261-22. https：//doi.org/10.23919/ACC.2017.7963289
[6] Derui Ding， Zidong Wang， Daniel W. C. Ho and Guoliang Wei. （2017）. “Observer-Based Event-Triggering Consensus Control for Multiagent Systems with Lossy Sensors and Cyber-Attacks”. IEEE Transactions on Cybernetics， 47（8）：
1936-1947. https：//doi.org/10.1109/TCYB.2016.2582802
[7] Anyang Lu and Guanghong Yang. （2018）. “Distributed Consensus Control for Multi-Agent Systems under Denial-of-Service”. Information Sciences， 95-107. https：//doi.org/10.1016/j.ins.2018.02.008
[8] Mo， Y. and Sinopoli， B. （2009）. Secure Control Against Replay Attacks. Proc. IEEE Conference on Communication， Control， & Computing， Monticello， IL， USA， 911-918. https：//doi.org/10.1109/ALLERTON.2009.5394956
[9] Minghui Zhu and Sonia Martínez. （2013）. “On Distributed Constrained Formation Control in Operator-Vehicle Adversarial Networks”. Automatica， 49（12）：
3571-3582. https：//doi.org/10.1016/j.automatica.2013.09.031
[10] Khazraei， A.， Kebriaei， H. and Salmasi， F. （2017）. “Replay Attack Detection in A Multi Agent System Using Stability Analysis and Loss Effective Watermarking”. Proc. American Control Conference， Seattle， WA， USA ，4778-4783. https：//doi.org/10.23919/ACC.2017.7963289
[11] Fei Miao， Miroslav Pajic， and George J. Pappas. （2013）. “Stochastic game approach for replay attack detection”. 52nd IEEE Conference on Decision and Control， Florence， Italy， 1854-1895. https：//doi.org/10.1109/CDC.2013.6760152
[12] Mayne， D.， Rawlings， J.， Rao， C. and Scokaert， P. （2000）. “Constrained Model Predictive Control：
Stability and Optimality”. Automatica， 36（6）：
789-814. https：//doi.org/10.1016/S0005-1098（99）00214-9
[13] Feng Xiao and Long Wang， （2006）. “State Consensus for Multi-Agent Systems with Switching Topologies and Time-Varying Delays”. International Journal of Control， 79（10）：
1277-1284. https：//doi.org/10.1080/00207170600825097
[14] Jadbabaie， A.， Jie Lin， and Morse， A. （2003）. “Coordination of Groups of Mobile Autonomous Agents Using Nearest Neighbor Rules”. IEEE Transactions on Automatic Control， 48（6）; 988-1001. https：//doi.org/10.1109/TAC.2003.812781
[15] Wolfowitz， J. （1963）. “Products of Indecomposable， Aperiodic， Stochastic Matrices”. Proceedings of the American Mathematical Society， 14（5）：
733-733. https：//doi.org/10.1090/ 2034984
