在全球工业革命的推动下,传统制造业纷纷致力于智能化和数字化转型,其关键在于将复杂且需专业知识的数据与机器学习结合,构建面向用户的高效智能系统。在鲲鹏昇腾科教创新卓越中心的算力支持下,中国科学技术大学特任教授宋骐团队基于昇腾平台开发出了领域知识构建框架和领域大模型增强推理框架。

该项目在三方面开展了研究,并取得一系列成果。首先在构建工业知识图谱领域,面对工业数据存在数据特征复杂、多模态异构的问题,团队通过融合领域小模型与大语言模型的知识增强命名实体识别框架,以提升对知识图谱实体抽取的准确性与泛化能力。其中昇腾分布式训练加速库MindSpeed发挥了重要作用,它支持多维并行策略,兼容多种开源框架,同时可灵活适配多模态数据的异构特征。团队首先利用小模型进行前端精准筛选,将高质量的初始结果输入至大语言模型,大语言模型通过其强大的语言理解和泛化能力对实体进行进一步的识别与确认。基于此融合框架完成“初始识别-知识抽取-知识引导反思”的三个阶段,显著提升了知识抽取的准确性和泛化能力。

应用到智能运维系统开发中,针对工业设备运维领域所面临的高人工成本、数据分析不足及预测精度不高等问题,团队提出了基于多模态知识图谱的智能运维系统构建技术路线。首先该系统采用ETL(Extract-Transform-Load)架构对工业设备运维过程中产生的多模态数据进行统一处理,并对数据进行清洗后统一贮存。接着,利用深入理解资源描述框架 RDF语义网技术构建工业设备运维场景下的知识图谱,清楚地展示出设备、状态、故障之间的联系。依托注意力机制的特征融合模型并结合Node2Vec和DeepWalk图嵌入技术,将复杂的知识融合为能全面反应设备状态的综合特征。同时在设备运行中会出现异常或者故障,团队也研发出故障智能预测诊断模块,将异常数据特征与知识图谱中的历史故障进行同类对比,推理出故障类型、严重程度和维修建议,最终实现智能运维的全过程。

与此同时,为解决当前领域知识与大规模预训练语言模型(PLM)融合中出现的计算资源消耗大、灵活性差和干扰噪声知识过多等问题,团队利用昇腾强大的计算资源管理能力,创新性地提出了知识增强与过滤框架。在实现知识增强环节,利用PLM嵌入空间的冗余位减低计算负担;在噪声过滤环节,设计知识增强过滤器,将知识增强网络与掩码训练相结合,有效避免了噪声知识的负面影响。在实现极大降低计算成本的同时,有效提高了知识增强的灵活性。

此科研成果构建了一套基于昇腾平台的工业知识增强大模型技术体系,不仅显著提升工业设备智能运维的水平和效率,还实现了核心技术的自主创新适配,融合前沿技术搭建智能系统,为打造安全、高效、智慧的现代工业体系提供关键技术支撑。未来,中国科学技术大学 鲲鹏昇腾科教创新卓越中心将基于昇腾平台持续探索和创新,相关成果有望在更广泛的工业场景中实现落地,助力科技创新与实体经济的深度融合。