计算机视觉

随着人工智能技术的迅速发展和应用，大模型作为其中的重要组成部分，正逐渐成为推动人工智能发展的重要引擎。大模型以其强大的数据处理和模式识别能力，广泛应用于自然语言处理、计算机视觉、智能推荐等领域，为各行各业带来了革命性的改变和机遇。根据中国软件行业协会教育与培训分会（简称教培分会）的信息搜集、数据分析与走访调研，本研究报告旨在深入探讨人工智能大模型技术岗位以及相关的能力培养问题，帮助企业和机构了解当前大模型行业的现状与未来发展趋势，为人才的培养和发展提供参考和指导。在本报告中，我们将首先对人工智能大模型的概念和特点进行阐述，并介绍国内大模型发展的情况，同时对大模型面临的挑战与趋势进行探讨。接着，本报告将重点关注人工智能大模型涉及的关键技术、关键技术岗位图谱。我们将对这些技术岗位的具体要求和职责进行详细解析。除了技术岗位分析，本报告还将探讨人工智能大模型的能力培养问题。随着大模型的不断演进和应用拓展，如何培养具备相关技能的人才成为关键。我们将结合当前人工智能人才供需的现状，国家人才政策与部署、企业人才需求与培养模式，探讨如何结合现状与挑战，提高人才的应用能力和创新能力。在报告编写过程中，教培分会通过对行业、企业、院校与劳动者的调研与访谈结果进行多维度分析，研究当前人工智能大模型发展趋势，企业人才供需、人才培养模式与产教融合现阶段的情况，并对不同群体的需求归纳与总结，提出了对AI大模型技术人才培养与服务模式的分析、意见与建议，供大家参考，并希望给予指正。

对人工智能领域的几个重要方向的前沿进展进行了介绍，包括自然语言处理、计算机视觉、脑认知计算及类脑计算等，探讨了人工智能可解释性、人脑认知特点、人与机器混合增强智能等领域的最新发展及潜力方向，介绍了“新一代人工智能”重大项目“人在回路的大电网调控混合增强智能基础理论”的相关情况和进展，以及西安交通大学智能网络与网络安全教育部重点实验室的建设情况。

为切实响应国网公司“两个替代”建设要求，甘肃公司探索集中式巡检总体构架，巡视系统采用多台服务器集群巡视模式，资源共享、互为备用，加大远程智能运检关键技术能力建设，逐步优化计算机视觉智能识别算法，扩展巡视点位的技术手段，建立多源融合感知体系；完善数据共享体制，建立站点间的模型迁移共享体系。同时针对算法模型的局限性展开技术攻关，提出增量学习技术，实现算法模型的高质效迭代和可识别类型便捷拓展；提出多源图像融合技术，实现变电站内设备缺陷及异常的快速追踪定位。

通过前期工作成果和与合作单位的交流反馈，可以选取电力巡检业务中的金具识别、绝缘子缺陷检测两类应用场景。大数据中心已积累相关图像样本库，既便于验证也易于转化成果。

人工智能(ArtificialIntelligence，AI)是一门研究如何使计算机能够模拟人类智能行为的科学和技术，目标在于开发能够感知、理解.学习、推理、决策和解决问题的智能机器。人工智能的概念主要包含以下几个方面:(1)人工智能的目标是模拟人类的智能行为。人工智能致力于使计算机能够像人类一样感知世界、理解信息、进行学习和决策，涵盖视觉、语音、自然语言处理、机器学习等领域的研究和应用。(2)人工智能的学习能力。人工智能强调计算机能够从数据中学习，并根据学习的结果不断优化自己的性能。机器学习是人工智能的重要分支，涉及到许多算法和模型，如监督学习、无监督学习、强化学习等。(3)人工智能可以解决问题。人工智能的一个主要目标是使计算机能够解决各种复杂问题，包括图像识别、语音识别、自然语言处理、自动驾驶、医疗诊断等。通过深度学习等技术，计算机可以从大量数据中提取有用的信息，从而实现更高效的问题解决方法。(4)人工智能的自主性与多样性。理想的人工智能系统应该能够独立地进行学习、决策和行动，而不需要持续的人类干预。人工智能涉及到多个子领域，包括机器学习、计算机视觉、自然语言处理专家系统、智能控制等。这些子领域有着不同的研究方法和技术，共同构成了人工智能的多样性。人工智能的发展不仅涉及到理论研究，还需要大量的实践和应用,随着计算能力和数据量的增加，人工智能在各个领域都有了显著的应用，包括自动驾驶、智能语音助手、推荐系统、医疗诊断、金融风控等。人工智能的发展将深刻地影响人类社会的方方面面，同时也带来了一系列的伦理和社会问题，需要人们共同思考和解决。

仓储管理智能化是提升仓储管理精益化水平的重要手段。文章基于人工智能典型技术——计算机视觉，研究适用于多目标识别与变化检测的高准确度实时智能仓储图像识别系统。利用图像采集设备，实现机器与人眼的互动，对仓储物料设备进行图像化管理，自动识别流转物料的缺陷问题和基本信息，提供智能检索、质量检验等功能，有效解决目前单独依赖RFID技术对人员能力要求较高、工作量大，RFID标签整体成本投入高，不能有效管控出入库物资设备质量的问题。通过将智能仓储图像识别系统与RFID技术相结合，提升出入库仓储物料的质量，提高电网安全运行能力，为仓储管理降本增效提供技术支撑。

为解决文档管理实际业务过程中遇到的难点和人工投入较大的问题，江苏核电文档技术人员对业务过程进行分解和逐一突破，采用人工智能以及移动互联网等技术，进行辅助性功能开发和应用，有力地提升文档信息化的技术水平，取得了较好的效果。在技术难度和先进性上，项目综合运用了计算机视觉技术、光学文字识别技术、移动物联网技术等先进科技，克服了技术难度大、时间紧张等困难，圆满了各项工作任务，技术水平在业内处于先进水平。在创新性上，项目取得了多项创新，业内首创基于图像识别技术的扫描文件清晰度检测、首创基于光学图像文字识别技术的自动化文件拆分、首创基于移动物联网技术的案卷智能上下架，完全自主分析、自主设计、自主开发实现的实用工具应用。本项目完全自主分析、设计、实现，未产生任何外委开发费用或者商业软件采购费用或软件维护费用，不必受商业软件限制，验证了整套解决方案在企业落地的可行性和经济性，对于提升企业自身技术实力有较好的作用。 在可推广性上，基于图像识别技术的扫描文件清晰度检测工作完成后节省了不必要的文件人工查阅时间，适用于其他需要人工对文件检查的场景。本类工作在行业内具有通用性，可以推广到其他电厂。基于光学图像文字识别技术的自动化文件拆分工作完成后大幅提升了文件处理效率，原本平均 30 分钟/件的效率提升到不到 1 分钟/件，项目应用效果显著。本类工作在行业内具有通用性，可以推广到其他电厂。基于移动物联网技术的案卷智能上下架工作完成后大幅提升了实体架位号和文档管理系统的实时信息联动，优化了案卷上下架流程，提高了工作效率，原本平均 5 分钟/卷的效率提升到 10 秒/卷，项目应用效果显著。本类工作在行业内具有通用性，可以推广到其他电厂。通过本项工作实现的实体架位号信息能够为开展智能可视档案库房工作建立良好基础。 在经济效益上，项目完全采用开源免费产品，且全部为自主分析、自主设计、自主开发，不产生任何商业软件采购费用和服务费用以及软件开发费用。系统每年节约 2000 多个小时，人员节省 30%。本成果的社会效益主要有两点，一是示范作用，二是通过本项目的实施，将挖掘出更多以大数据和 AI 等技术相关的业务场景应用，在业内处于领先优势，对于其他单位开展类似创新性应用具有参考意义。

该项目针对电力行业典型业务场景，研究典型计算机视觉模型，构建典型场景的部署环境。基于容器技术，验证模型元数据的在线解析操作，和支持在线的模型运行操作。验证的杆塔场景下在线测试环境的可用性。

针对输煤系统不能有效检测皮带机上异物、堵塞、跑偏、撕裂而导致的设备安全问题，针对堵煤时背景变化小难以检测的问题，利用一段时间内的视频图像序列积累初始背景，对视频序列中新一帧图像，利用单高斯背景减法检测变化区域，获得前景图像并更新背景；对前景图像采用形态学闭运算处理，得到完整的堵煤区域目标，当发生堵煤发出停机指令。同时提出一种自适应背景建模与更新方法构建鲁棒的背景模型和基于背景差分、帧间差分和空间领域的合成信息前景检测算法，解决皮带异物检测易受皮带上物料状态及运行抖动等影响。检测皮带两侧边缘的相对位置，采用边缘检测算法，对像素间差异检测出的皮带轮廓边界像素，通过图像形态学或阀值化组装成轮廓。若连续多帧检测到皮带越过提前设定的检测区域则判断皮带跑偏；若检测到轮廓边界发生形变，通过智能算法判断皮带为撕裂。采用计算机视觉检测技术，将检测到的输煤系统堵煤、皮带异物、跑偏、撕裂故障信息，传输至现有输煤程控系统，实现输煤现场设备智能检测与保护。本项目已获授权专利4项；发表论文3篇。我国有上千家火电企业，输煤系统自动化巡检需求庞大，由此带来的经济效益十分可观。

根据输电线路精细化巡检业务流程，在完成现场飞行作业后，巡线人员需要对巡检图像进行两个方面的处理：一是按照“电压等级+线路名称+杆塔号+相序+（大/小号侧）+拍摄内容”的规则对巡检图像进行命名，并按不同杆塔分类保存；二是对巡检图像进行细致辨识以发现其中存在的设备缺陷。如上所述，当前这两个方面的工作还只能采用人工手段，垂须一种高效、智能的方法对巡检图像自动命名，并甄别、提取巡检图像中包含的设备缺陷信息。本案例分别采用计算机视觉中的图像分类技术和目标检测技术来解决上述两方面的问题。一方面，以拍摄内容为类别标签，采用图像分类模型对巡检图像进行识别，获得拍摄图像的内容，并通过经度、纬度坐标关联和坐标比对的方法得到其他命名信息，加以组合后完成巡检图像的自动命名：另一方面，以湖南地区常见的5类缺陷为目标，采用以深度卷积神经网络为基础的智能检测算法识别巡检图像中可能存在的设备缺陷及其所在位置，再辅以其他工程化方法提高检测精度。本案例实现了从巡检图像的输入到巡检图像命名、归档存储及设备缺陷查找全业务流程的自动化，可大大减少巡检人员的重复劳动，提升巡检作业效率和自动化、智能化水平。