面向全球能源互联网的电力大数据总体架构

全球能源互联网研究院（原国网智能电网研究院）计算及应用研究所致力于为全球能源互联网提供高性能计算能力、智能计算技术和优质计算服务，目前已成立国家电网公司先进计算及应用智能实验室。近5年，实验室承担了国家“863”等近20项国家级科研项目，40余项公司科技项目。建设形成先进的广域分布式电力大数据分析计算平台，覆盖北京、南京、美国硅谷，为总部业务部门及各省公司提供自助式分析服务。与中科院计算所、中国电子集团、沈昌祥院士团队等机构建立了高性能计算、大数据、可信计算等联合实验室。

研究背景

电力大数据技术研究与应用已成为国家电网公司当前信息技术发展重点之一，面向全球能源互联网业务的相关需求也迅速增加，国家电网公司电力大数据相关研究亟需总体层面上的规划指导，尤其是在电力大数据基础体系架构、技术标准和应用规范方面的技术储备，统一规划与协同推进公司各系统、各单位的电力大数据相关研究和应用工作，以支撑大数据在公司业务系统建设和全球能源互联网建设中的应用需要。

主要创新点

面向全球能源互联网的电力大数据总体架构

电力大数据的分析流程主要包含数据集成、数据存储、数据计算、业务应用四个阶段，在该流程中融合数据治理、分布式存储、高性能混合计算、数据探索、一体化搜索、可视化展现、智能信息处理、安全治理等信息技术实现数据分析、处理、安全防护的基础平台支撑，通过全球能源互联网多领域交叉融合研究，建立智能化的建模分析及数据使用模式，支撑全球能源互联网业务应用和场景需求，总体架构如下图所示。

电力大数据平台功能架构

电力大数据功能架构设计可用于规范和定义电力大数据平台在运行时的整体功能流程及技术选型，该平台可整合电力行业不同领域的数据，形成统一的数据资源池，构建具备开放性、可扩展性、个性化、安全可靠、成熟先进的大数据分析服务体系，并具备面向社会的公共服务能力。围绕大数据分析应用生态圈，从底层基础设施、数据集成、数据处理、数据分析、数据可视化五个层面、运维与安全两个保障功能，应用先进技术、工具、算法、产品，构建电力大数据分析与应用平台功能架构，见下图所示。

电力大数据平台技术架构

电力大数据核心平台基于Hadoop、Spark、Stream框架的高度融合、深度优化，实现高性能计算，具有高可用性，其技术架构如图3所示。数据整合方面，主要采用Hadoop体系中的Flume、Sqoop、Kafka等独立组件；数据存储方面，在低成本硬件（X86）、磁盘的基础上，采用包括分布式文件系统、分布式关系型数据库、NoSQL数据库、实时数据库、内存数据库等业界典型系统；数据分析方面，集成Tableau、Pluto，R语言环境，实现数据的统计分析以及数据挖掘能力；监控管理方面，利用Ganglia，实现集群监控、服务监控、节点监控、性能监控、告警监控等管理服务；可视化展现方面，基于GIS、Flash、ECHART、HTML5等构建可视化展示模块。电力大数据平台技术架构见下图所示。

面向全球能源互联网的电力大数据总体架构

在基础设施部署架构及容量规划方面，电力大数据平台集群主要由数据存储服务器、接口服务器、集群管理服务器和应用服务器组成，支持存储与计算混合式架构以及广域分布的集群部署与管理。每个省集群由总共30台x86服务器和一台小型机组成，其中核心数据集群由25台构成；剩余5台服务器中，3台服务器组成消息总线集群，部署包括Kafka消息队列集群以及FTP传输入库集群，1台服务器作为集群登陆跳转以及RstudioServer服务节点，还有1台服务器作为ODBC/JDBC服务以及WebHTTP/REST服务节点。小型机作为关系型数据库以及时间序列数据库节点，部署方式如下图所示。

电力大数据标准体系

通过分析国内外大数据相关标准，并结合电力大数据技术、产品和应用需求，形成电力大数据标准规范18项，重点涵盖基础概念、数据采集、存储、计算、分析、展示、质量控制、安全防护、数据服务等8大方面，适用于全球能源互联网环境下电力大数据平台建设和相关标准编制，如下表所示。

解决的问题和意义

解决电力海量数据的实时分析问题

在输电监测与状态评估业务中，涉及线路台账、在线监测、试验检测、日常巡视、直升机或无人机巡视和卫星遥感等数据，实时获取输电监测与状态的流数据，利用分布式存储系统的高吞吐，实现海量监测与状态数据的同步存储；利用事先定义好的业务规则和数据处理逻辑，结合数据检索技术对监测与状态数据进行快速检索处理；利用流计算技术，实时处理流监测与状态数据，根据流计算结果，实现实时评估和趋势预测，对输电线路健康安全状态进行正确评价，指导输电线路状态检修决策，准确识别输电线路故障，实现异常状态报警，对恶劣自然条件下输电线路气象灾害安全进行预警，为自然灾害防治提供决策支撑。

解决电力海量数据的离线分析问题

针对配电网规划、运行过程中产生的海量异构、多态的数据，具有多时空、多来源、混杂和不确定性的特点，如图6所示，分析配电网规划数据的种类和格式多样性，建立统一的大数据存储接口，实现配电网规划离线数据的一体化分布式快速存储。在离线数据一体化存储的基础上，建立数据分析接口，提供对配电网规划数据统计处理任务的支撑，并进一步满足配电网规划计算分析、配电网风险评估及预警等高级应用系统的数据要求，为管理层合理调整负荷、调节运行方式、制定电价政策等决策提供科学合理的依据。电力大数据离线分析应用如下图所示。

意义

通过对公司大数据服务体系框架、总体技术架构及演进路线的研究，以及对集中式数据中心环境下的数据大集中技术架构的研究，设计提出符合电力大数据当前应用现状和需求的公司大数据总体架构，全面指导大数据其他关键技术的研究；研究制定电力大数据的管理规范、应用标准和规范化建设模式，通过标准体系的建立进一步促进与保障电力大数据技术的应用推广；基于基础体系架构和标准体系，可在总体层面上提出公司电力大数据发展规划，在统一规划与协同推进下有序开展公司各系统、各单位的电力大数据相关研究和应用工作。