注意力机制

首先就人工智能的定义、发展历程、关键技术进行综合性阐述。其次就传统巡检图像缺陷监测技术进行深入探讨。全面介绍了基于R-FCN的航拍巡检图像目标监测方法。最后分享了细粒度缺陷、可变形卷积、异物类缺陷识别、自注意力机制、防震锤滑移等最新研究成果。

虚拟电厂(virtual power plant,VPP)作为多能流互联的综合能源网络，已成为中国加速实现双碳目标的重要角色。但VPP内部资源协同低碳调度面临多能流的耦合程度紧密、传统碳交易模型参数主观性强、含高维动态参数的优化目标在线求解困难等问题。针对这些问题，文中提出一种融合注意力机制(attention mechanism,AM)与柔性动作评价(soft actor-critic,SAC)算法的VPP多能流低碳调度方法。首先，根据VPP的随机碳流特性，面向动态参数建立基于贝叶斯优化的改进阶梯型碳交易机制。接着，以经济效益和碳排放量为目标函数构建含氢VPP多能流解耦模型。然后，考虑到该模型具有高维非线性与权重参数实时更新的特征，利用融合AM的改进SAC深度强化学习算法在连续动作空间对模型进行求解。最后，对多能流调度结果进行仿真分析和对比实验，验证了文中方法的可行性及其相较于原SAC算法较高的决策准确性。

卷积神经网络由于其有限的感受野无法高效捕捉到电力场景中避雷器、GIS进线套管等设备的上下文信息，进而影响检测效果。为解决上述问题，引入基于Transformer的体素注意力网络，提出局部注意力和空洞注意力机制来分别捕获图像体积像素中的近程和远程特征联系，在保证计算开销不增大的同时，有效扩大注意力范围。同时，设计子流形体素模块和稀疏体素模块来分别提取非空体素位置和空白体素位置上的特征信息。最后，在通用数据集Waymo和KITTI以及云南省某输变电区域的图像数据集上与主流模型进行比较，证明所提模型对于电力设备的检测具有更加优越的性能。

配电网中准确的拓扑结构辨识对运行和控制具有重要意义，针对实际配电网拓扑结构变动的情况，搭建了可智能辨识配电网拓扑结构的深度学习模型。首先，生成不同拓扑结构下的配电网量测数据并进行数据预处理。其次，构建了融合CNN（卷积神经网络）、LSTM（长短期记忆网络）和Attention（注意力机制）的拓扑结构智能辨识模型，并结合历史量测数据对模型训练并测试。最后，在IEEE 33节点和PG&E69节点配电系统仿真算例中，验证了该基于CNN-LSTM-Attention模型的拓扑辨识方法相较于传统辨识方法在辨识精度上的优越性，实现了该模型的在线应用。

电网在运行过程中会产生大量的设备缺陷文本记录,针对变电设备缺陷文本的特点,文章提出了基于注意力机制的混合神经网络(hybrid neural network based on attention mechanism,HNNA)电力设备缺陷文本挖掘方法。首先在总结电力设备缺陷文本特点的基础上,参考中文文本分类的一般流程,结合自主编写的词典和停用词表对缺陷文本进行预处理;利用Word2vec模型将词语映射到高维空间;使用卷积神经网络(convolution neural network,CNN)和双向长短期记忆网络(bidirectional long short term memory,BiLSTM)提取文本局部特征和上下文特征;将提取的特征进行融合,最后采用Attention实现特征权重的分配,增强关键特征对分类效果的影响,并从多个评价维度与传统机器学习模型、深度学习模型对比。算例结果表明,提出的模型具有更好的分类效果,可以实现电力设备缺陷等级的高效准确划分。

电力人员行为识别是电力系统安全运维的重要环节，现有的人员行为识别算法主要采用支持向量机和多层感知机进行行为分类，存在识别精度低、未考虑人体骨架之间交互关系、迁移性、通用性差等问题。针对上述问题，提出一种基于自注意力与交叉注意力机制的行为分类解码器，充分考虑了人体骨架之间的关联。其分类精度相比传统分类方法提升10%~20%，较深度学习多层感知机（multilayer perceptron，MLP）分类方法提升2%以上。该方法运用编码器-解码器架构的二阶段方法进行行为识别，使得解码器可以适用于任意姿态估计，网络后端具有很强的可扩展性。此外，采用分组解码的方式克服了注意力机制带来的二次方复杂度，使得该解码器可以扩展到更多行为类别，具有更好的普适性。该行为识别算法能够在基于变电站工作场景下的人员图像数据集验证中达到优异的识别效果，综合识别率达91.1%，验证了所提电力人员行为分类方法的有效性和适用性。

网络流量的异常检测对于保护电力信息系统安全具有重要意义。目前深度学习等人工智能技术在入侵检测中表现出良好的性能,但由于电力流量数据中类别不平衡以及噪声含量高等问题,严重影响入侵检测模型的准确率。针对以上问题,文章提出了一种深度残差收缩网络(deep residual shrinkage networks,DRSN)-双向长短时记忆网络(bi-directional long short-term memory,BiLSTM)混合深度学习模型实现及时有效的多矢量攻击威胁识别与检测。首先采用条件生成对抗网络模型生成少数类数据,构造平衡数据集,然后使用DRSN-BiLSTM模型进行特征提取,DRSN中的残差项可以解决网络退化与过拟合问题,注意力机制降低了噪声对异常流量检测的影响,同时基于BiLSTM进行流量时序特征提取,最后用softmax分类器进行流量分类,实现网络入侵检测。该模型在电力信息系统数据集上进行了测试,结果显示,提出的混合深度学习模型在检测准确性、精确度、召回率和F1分数指标均优于比较算法。

为提高互感器误差预测准确度，首先引入对立搜索算子策略、非线性收敛控制因子对传统海鸥算法进行改进，提出一种基于改进海鸥优化算法(improved seagull optimization algorithm, ISOA)优化变分模态分解(variational mode decomposition, VMD)关键参数的方法，实现误差数据自适应分解。然后，基于多头注意力机制(multi-head attention, MHA)对误差影响特征交叉处理，挖掘各特征间关联性，通过强相关性特征与误差间关系建立弱相关特征与误差间深层联系，避免因数据浪费造成预测精度降低。并考虑训练集与测试集间关系，提出考虑样本相似性的长短期记忆神经网络(similar long short-term memory, SLSTM)，动态调整网络权重和偏置。最终构建MHA-CNN- SLSTM预测模型，并将预测值与实际值误差作为训练集再次输入预测模型，生成补偿数据补偿初步预测值，进一步提高预测精度。最后，以某实测互感器数据进行验证，结果表明所提模型具有更高的预测精度和更好的效果。

为解决电力系统的运行方式或拓扑结构变化后暂稳评估模型的适应性问题，常规的特征迁移学习方法主要侧重于拉近源域与目标域数据集间的条件分布或边缘分布的距离，却不能定量的评价这两种分布对于不同域之间的贡献，导致模型迁移性能不理想。针对该问题，引入SENet注意力机制和动态分布自适应算法，构建了基于SE- DDAN迁移的深度自适应网络暂稳评估模型更新框架，从特征提取和不同域间分布权重的动态调整两个层面进行改进，进一步提升了评估模型的迁移性能和自适应性。在IEEE 39和IEEE 140节点系统上进行测试，仿真结果表明所提模型在更新后的评估准确性、适应性和迁移性能方面有一定的优势。

为提高风电功率预测精度，提出了一种有机融合深度反馈学习与注意力机制的短期风电功率预测方法。首先，以风电场数值天气预报(numerical weather prediction, NWP)为原始输入，基于双层长短期记忆网络(long short-term memory, LSTM)模型对风电功率进行初步预测。其次，利用极端梯度提升(eXtreme gradient boosting, XGBoost)算法构建误差估计模型，以便在给定未来一段时间内NWP数据的情况下对初步预测误差进行快速估计。然后，利用自适应白噪声完备集成经验模态分解法(complete ensemble empirical mode decomposition with adaptive noise, CEEMDAN)将初步预测误差分解为不同频段的误差序列，并将其作为附加性反馈输入，对风电功率进行二次预测。进一步在二次预测模型中引入注意力机制，为风电功率预测序列与误差序列动态分配权重，由此引导预测模型在学习过程中充分挖掘学习与误差相关的关键特征。最后，仿真结果表明所提方法可显著提高短期风电功率预测的可靠性。