基于深度强化学习的电力CPS联合防御方案
为解决电力系统中可能发生的协同攻击事件,文章提出包含单点防御、级联防御和全局防御的三级联合防御模型,配合攻防推演模块和策略规约模块,能够实现针对电力系统协同攻击的有效防御。三级防御分析器分别基于攻击防御树、连锁故障和深度强化学习实现,其核心为基于多智能体行动者-注意力-评论家框架(multi-agent actor attention critic,MAAC)的全局防御分析模型,MAAC能够考虑攻击者与防御者之间的竞争协作关系进而给出防御策略,使其更加适合电力信息物理系统(cyber physical systems,CPS)复杂的攻防场景分析。实验采用IEEE总线系统为基础构造电力CPS,环境中的数据从实际电力系统引入,使MAAC的训练学习面向真实环境。实验结果表明,该模型在收敛速度和防御性能上均优于其他模型,证明所提出的联合防御模型能够有效提升电力CPS面对复杂协同攻击场景的防御能力。