强化学习

一、技术概述 二、研究现状 三、应用案例

随着人工智能技术特别是强化学习在能源优化调度领域的深入研究，将系统状态表示为向量用于学习的模式，其训练效率与信息利用率较低。针对这一问题，提出了一种融合图神经网络模型与强化学习的综合能源系统优化调度方法。首先，将电-热-气综合能源系统建模为图结构数据，充分利用系统的拓扑信息。其次，提出了基于图神经网络架构的强化学习模型，使其可以充分利用图结构信息实现更快的训练速度，获得更大的探索空间。最后，将表示系统状态的图结构信息送入该模型进行训练，算例仿真验证了该方法的训练效率与探索能力。

给出电力人工智能的概念和核心技术分层架构，分析梳理了电网安全与控制、输变电、配用电、新能源、企业经营管理等重点领域的人工智能需求，重点阐述了中国电科院针对实际业务痛点所做的人工智能应用实践，包括基于深度强化学习的电网紧急控制策略、输电线路智能巡检、基于集成学习的电力设备状态评价、低压配电台区拓扑智能识别、基于聚类算法的用电行为分析等研究与应用，并对电力人工智能的发展趋势和应用前景进行了总结与展望。

虚拟电厂(virtual power plant,VPP)作为多能流互联的综合能源网络，已成为中国加速实现双碳目标的重要角色。但VPP内部资源协同低碳调度面临多能流的耦合程度紧密、传统碳交易模型参数主观性强、含高维动态参数的优化目标在线求解困难等问题。针对这些问题，文中提出一种融合注意力机制(attention mechanism,AM)与柔性动作评价(soft actor-critic,SAC)算法的VPP多能流低碳调度方法。首先，根据VPP的随机碳流特性，面向动态参数建立基于贝叶斯优化的改进阶梯型碳交易机制。接着，以经济效益和碳排放量为目标函数构建含氢VPP多能流解耦模型。然后，考虑到该模型具有高维非线性与权重参数实时更新的特征，利用融合AM的改进SAC深度强化学习算法在连续动作空间对模型进行求解。最后，对多能流调度结果进行仿真分析和对比实验，验证了文中方法的可行性及其相较于原SAC算法较高的决策准确性。

虚假数据注入攻击(false data injection attack, FDIA)是针对电力系统的一种常见网络攻击，可以通过终端链路或设备注入异常数据，绕过不良数据检测机制，进而引发电力系统的异常运行，造成严重的经济损失。近年来深度学习技术在FDIA检测方面取得诸多进展，通过大量的数据训练和强大的模型学习能力，能够自动学习和提取攻击数据特征，相对于传统方法具有更高的准确率和鲁棒性。总结了近年来基于深度学习的电力系统FDIA检测研究进展，涵盖卷积神经网络、循环神经网络、图神经网络、生成对抗网络和深度强化学习等典型深度学习模型。首先分析各类深度学习模型的FDIA检测原理，并介绍相关技术方法。然后从鲁棒性、评估指标和可扩展性等方面对上述技术进行对比分析，总结其应用范围及存在不足。最后探讨了当前研究中存在的挑战和未来的研究发展方向。

针对综合能源系统中可再生能源和负荷的不确定性，提出一种基于深度强化学习的优化调度方法。首先，阐述了深度强化学习方法的基本原理；然后，提出了基于深度强化学习的综合能源系统优化调度模型，并对其中的状态空间、动作空间和奖励函数进行设计；继而，设计了基于异步优势策略梯度算法的模型求解流程；最后，通过算例仿真验证表明，所提方法能自适应源、荷不确定性，达到与传统数学规划方法相近的优化效果。

“双碳”背景下，异质能源的耦合加剧迫使综合能源系统(integrated energy system, IES)拓扑朝着更复杂、更灵活的方向不断演变。然而，现有优化调度方法对非欧网络拓扑知识及其异质潮流约束考虑不足。针对这一问题，提出一种基于图强化学习的综合能源系统优化调度方法。首先，基于图理论在保证节点多样状态的情况下，将异质能源网络拓扑转换为网络图模型。其次，通过建立基于真实图映射的状态-动作-奖励的框架，利用图强化学习的方法学习图模型的非欧拓扑信息，将异质潮流知识加入系统节点运行状态，从而实现IES的安全优化调度。最后，利用某工业园区的真实数据进行仿真验证，所提方法相对于传统方法有效缓解了节点电压越限的问题。结果表明，所提方法能够在考虑IES真实拓扑运行状态信息和异质潮流安全的情况下实现IES的优化调度。

现有深度强化学习(deep reinforcement learning, DRL)方法在解决配电网电压优化问题时，存在信用分配难、探索效率低等问题，在模型训练速度和优化效果等方面表现欠佳。为此，结合配电网分区降损与模仿学习的思想，提出一种基于指导信号的多智能体深度确定性策略梯度(guidance signal based multi-agent deep deterministic policy gradient, GS-MADDPG)的电压优化方法。首先，将电动汽车(electric vehicles, EV)集群、分布式电源(distributed generations, DG)和无功调节装置作为决策智能体，构建强化学习优化模型。然后，通过配电网分区，解耦多智能体的外部奖励，并结合模仿学习，利用指导信号引入内部奖励，帮助智能体快速寻优。最后，基于改进IEEE 33节点系统进行算例测试。结果表明，所提电压优化策略较传统DRL方法具有更高的样本利用率，实现了更稳定的收敛及更高的模型训练效率，提升了配电网电压的优化效果。

随着“煤改电”工程的推进，农村薄弱配电网因供暖季负荷突增可能出现短时线路容量不足的问题，传统的线路扩容改造方案面临着电网投资回收期长、非供暖季资产利用率低等问题，依托农村新能源资源禀赋，构建具备友好互动和需求响应能力的微电网是解决此问题的有效手段。为此，结合河北省某农村微电网群示范工程的应用背景，提出一种基于多主体博弈和强化学习的微电网群与配电网协调优化调度方法。各微电网以日内滚动优化调度计划为基准，考虑辅助服务策略对未来有限时域内运行经济性的影响，上报最优竞价策略；配电网结合辅助服务功率需求和各微电网的报价，以运行成本最小为目标确定辅助服务市场出清方案。最终，采用狼爬山(win or learn fast-policy hill-climbing, WoLF-PHC) 算法实现对多主体博弈问题的快速求解，并基于微电网群示范工程实际案例验证了所提方法的有效性。

提出一种基于离线策略的安全强化学习方法，通过离线训练大量配电网历史运行数据，摆脱了传统优化方法对完备且准确模型的依赖。首先，结合配电网络参数信息，建立了基于约束马尔可夫决策过程的有功无功优化模型；其次，基于原始对偶优化法设计了新型安全强化学习方法，该方法在最大化未来折扣奖励的同时最小化成本函数；最后，在配电系统上进行仿真。仿真结果表明：所提方法能够根据配电网实时观测信息，在线生成满足复杂约束条件且具有经济效益的调度策略。