多模态

当前电网设备的智能巡维还未能实现真正“无人化”，机器人等智能终端还存在个体能力有限、智能程度偏低、系统孤岛运行等问题，基于智慧物联的立体巡检是解决上述问题的关键，广东电网能源技术公司围绕电网场景高精度建模与重构，移动式终端个体智能自治技术提升，分布式终端物联互动，多模态数据融合贯通等四项关键技术开展系统攻关，为实现电网设备智慧运行做出了积极探索。

面对信息网络与经济社会各领域深度融合发展需求，现有网络发展范式在应对人-机-物大规模组网、服务性能确保、高效能网络处理等方面面临诸多困境。本报告创新网络发展范式，提出网络技术体系与支撑环境分离的多模态网络，支持多种网络技术体系在同一基础环境内的共生共存、独立演进与变革发展，降低创新网络技术体系应用和市场部署的门槛，为数字化社会发展提供专业化、高质量的网络能力支撑。

我们将使用紧密结合实际业务场景，构建算力、训练/推理框架、算法全栈国产化适配的输电运检场景多模态大模型。输电多模态大模型通过海量场景多模态数据进行训练学习，模型参数量大和泛化能力强。在视觉识别能力方面和传统小模型相比，输电人工智能大模型在准确率、泛化能力、识别效率等方面表现优越。另外，以输电运检场景多模态大模型为基础构建的输电场景数字员工，能够基于可视化设备拍摄的场景图像信息，端到端的输出隐患信息、防护区信息、天气场景信息、高层语义信息、运检报告等，人机交互友好，业务流程无缝衔接，改变了传统运检软件系统工作范式。

安徽明生恒卓科技有限公司研发了基于Transformer架构的以视觉网络为骨干网络的多模态大模型，将视觉大模型技术应用到配网领域，实现了人工智能技术与无人机巡检业务的有机结合，构建了对巡检图片5层200余类数据的挖掘能力，综合检出率达94%。解决了配网无人机巡检图片信息挖掘不充分、数据提炼不准确等问题，助力配电网数智化精益管理。

介绍了新型电力系统与大电网智能运维的发展现状，3D数智化电网巡检总体框架、电网3D孪生的应用。

基于多模态感知混合增强的电网设备状态评价关键技术是一个复杂且前沿的研究领域，它结合了多模态感知、混合增强智能以及电网设备状态评价等多个方面的技术。

基于多模态感知混合增强的电网设备状态评价关键技术是一个复杂且前沿的研究领域，它结合了多模态感知、混合增强智能以及电网设备状态评价等多个方面的技术。

从灵活性资源对配用电系统的重要性出发，指出了目前海量异构多模态灵活性资源存在数智化基础薄弱，互动不确定性强、建设成本高等问题。提出了从感采通控基础装备、无感调控技术、配用电网自有资源挖潜等方面开展研究及应用，从而提升配用电网数智化管控能力，推动电力安全可靠供应和能源清洁低碳转型。

随着新型电力系统的不断发展，设备在开放环境中存在被假冒攻击的可能。常见的应对方式是基于无线信号指纹的识别技术，在物理层面保证设备的安全性。然而，由于无线信号的不稳定性，导致对终端设备的识别准确率较低。针对上述问题，文章提出了一种基于多模态特征的新型电力系统终端无线指纹提取与识别方法。通过融合无线信号的时域特征和频域特征构建动态指纹数据库，形成一种基于多模态特征的新型电力系统无线终端设备识别认证的方法，实现了稳定的无线终端指纹提取，可以有效在无线设备接入时和无线设备持续通信期间对无线设备进行识别认证，保证无线设备的安全可靠运行。通过不同场景下的实验结果表明，使用帧响应时间间隔作为时域特征和信道状态信息作为频域特征的多域融合方法进行无线设备识别，可以显著提高计算的准确性和稳定性，识别率达到95%以上。

随着新型电力系统的不断发展，设备在开放环境中存在被假冒攻击的可能。常见的应对方式是基于无线信号指纹的识别技术，在物理层面保证设备的安全性。然而，由于无线信号的不稳定性，导致对终端设备的识别准确率较低。针对上述问题，文章提出了一种基于多模态特征的新型电力系统终端无线指纹提取与识别方法。通过融合无线信号的时域特征和频域特征构建动态指纹数据库，形成一种基于多模态特征的新型电力系统无线终端设备识别认证的方法，实现了稳定的无线终端指纹提取，可以有效在无线设备接入时和无线设备持续通信期间对无线设备进行识别认证，保证无线设备的安全可靠运行。通过不同场景下的实验结果表明，使用帧响应时间间隔作为时域特征和信道状态信息作为频域特征的多域融合方法进行无线设备识别，可以显著提高计算的准确性和稳定性，识别率达到95%以上。