物联网，互联网 随着时代的到来，特别是随着电力物联网建设的推进，电网数据也呈现出海量、多样性的趋势，挖掘电网数据的价值，帮助提高电网服务水平，扩大电网数据的创新应用，成为国家电网公司的核心引擎和新的增长极。在介绍泛电力物联网的基础上，阐述了电网数据的特点，提出了泛电力物联网大数据分析平台架构，讨论了关键技术，最后介绍了泛电力物联网大数据的潜在应用。
一、电力物联网
近年来，随着国家高科技战略转型的实施，能源消耗，特别是电力消耗，供电可靠性要求越来越高，接入设备的类型和数量越来越多，电网越来越复杂，管理成本激增。与此同时，随着互联网经济、数字经济的兴起和电力市场的逐步开放，它给传统的电力行业带来了巨大的挑战。
为应对挑战，中国国家电网集团公司(以下简称国家电网公司)于2019年全面推进三型两网建设，强调泛在电力物联网。泛是指任何人、任何信息链接和交互，电力是指电网、电网数据为核心，是电力行业广义物联网的具体形式和着陆，不仅是技术更新，而且是管理方法和管理理念创新，连接电网内外，实现电网新业务创新和服务转型。国网的定义如下 泛在电力物联网连接电力用户及其设备、电网企业及其设备、发电企业及其设备、供应商及其设备、人和物，为用户、电网、发电、供应商和政府社会提供共享数据；以电网为枢纽，发挥平台和共享作用，为整个行业和更多的市场实体创造更大的机遇和价值服务。”
云计算、物联网和互联网 随着时代的到来，电网数据也呈现出海量、多样性的趋势，挖掘电网数据的价值，帮助提高电网服务水平，扩大电网数据的创新应用，成为国家电网公司的核心引擎和新的增长极。国家电网现有的大数据应用包括低压故障预警和判断、用户全息肖像、电力行为分析、电力供需侧关联分析和预测。泛电力物联网进一步开辟了运输检验、营销、调度、供应指数等专业平台之间的数据流和业务流的互动渠道，全面实现业务流和数据流的整合，实现电网数据的全面感知，促进和开展创新业务。本文对泛电力物联网大数据平台的架构、关键技术及其应用进行了分析和研究，为泛电力物联网大数据平台的设计提供了理论支持和技术积累。
本文首先介绍了大数据的概念及其特点，然后给出了泛在电力物联网大数据的概念及其特点，接下来介绍了物流大数据分析平台的架构并分析了其中的关键技术，最后举例说明了泛在电力物联网大数据的典型应用。
二、电力物联网数据源
电力物联网数据源具有多源异构性、数据时间粒度离散、地理空间和业务空间跨度大、隐私保护和数据安全要求高的特点。本章将深入分析泛电力物联网数据源的特点，为泛电力物联网大数据平台的建设提供基础。
随着互联网和信息技术的发展，人们每天创建的数据呈几何级数增长。例如，2018年全球数据总量为35 ZB，全球数据的增长率约为每年40%，预计到2020年全球数据总量将达到44% ZB。传统的关系数据库和数据处理软件已经不能胜任海量数据存储和数据处理。
大数据已成为学术界和工业界的研究和应用热点。大数据一词最早出现Apache Nutch开源项目中，其对大数据定义为“对网络搜索索引进行更新而需要批量处理或分析的大量数据集 ”。在2011年，《Science》的“Dealing with Data专刊指出，大数据的发展和使用将极大地促进社会发展，各国开始重视大数据的应用，大数据研究开始蓬勃发展。自2012年以来，中国出台了一系列支持大数据开发和应用的政策，并于2015年在贵阳成立了世界上第一家大数据交易所***抓住大数据发展的重要机遇，促进大数据产业健康发展，应对数据安全、网络空间治理等方面的挑战，2018中国国际大数据产业博览会贺信中指出，要加强交流互鉴，深化交流合作早在2017年，国家电网公司就提出了大云移动智能链的信息战略。大数据是信息项目工作的重要组成部分。2018年，智能电表等终端接入电网5.4亿台(套)日增量超过60 TB，为配网运输检查、能耗管理、用户服务提供了良好的支持。
电力泛在物联网数据包括六个环节：发送、输送、变更、分配、使用和调度。从数据源可以简单地将电网数据分为内部数据和外部数据。电网内部数据主要来自电网内部系统，如采矿系统、营销系统、广域检测系统、生产管理系统、能源管理系统、客户服务系统、财务系统等。来自电网的外部数据GIS外部服务数据，如供应商、天气、授时、政府等。从数据变化的频率来看，数据也可以分为动态数据和静态数据，主要包括运行数据、营销数据等，静态数据主要包括一些CMDB元数据等。泛泛电力物理网大数据volume(巨量数据)，varity(多种类型)，velcity(高效运算)，value4.V还有以下特点：
a）数据多源异构。由于专业障碍和历史原因，在泛电力物联网中，同一数据的来源具有用户收集系统、电力营销系统、生产管理系统等多源特征。这些系统之间的数据标准和内容差异很大，同一字段可能有不同的含义、精度和描述。如何有效地筛选和清理相关数据是构建泛在电力物联网大数据的基础。
b）数据时间粒度离散。电网常用数据现有用户收集系统（SCADA）这种秒粒度数据包括智能电表的分钟粒度数据、电气设备的小时/天粒度数据，甚至一些监控系统的数据粒度达到毫秒水平。如何分析这些多维度设的关键是如何分析这些多维度、粒度离散的数据，找出这些数据的内在关联，挖掘和分析数据关联，实现业务价值。
c）大跨度的地理空间和业务空间。基于地理数据，空间跨度大有两个方面。（GIS）维度，如从西藏到上海，强调与电网规划、区域发展、综合能源网络和需求响应的关系；另一方面，电网层次复杂，基于电网结构的电网空间维度，如从输电线、变电站到台区、最终用户智能表等，强调与电网运行和资产管理的关系。如何有效网大数据建设的另一个关键是如何有效地组织和利用这些数据。
d）隐私保护和数据安全。一些电力大数据涉及与政府和民生有关的重要数据（台湾信息和电力数据），并保留用户的敏感信息（户名和身份证号码）。数据敏感性高，安全保护要求高，对用户隐私的保护和合理使用提出了更高的要求。在保护用户隐私的同时，如何安全存储、流通和使用相关数据是泛在电力物联网大数据的标准。
三、电力物联网大数据分析平台架构
目前，国内外有许多基于开源的通用大数据分析平台，提供标准的大数据能力。同时，国家电网公司在智能电网大数据平台建设过程中积累了多年的经验。结合两者，提出了电力物联网大数据平台的可行架构（见图1）。
图1 电力物联网大数据平台的业务架构
a） 数据接入层：根据定义的统一模型和采集规则，适应各种数据源，完成数据采集、清理和预处理。
b） 基本服务层：提供流处理引擎、配置管理、规则引擎等基本的大数据分析工具和编排工具。
c） 数据服务层：提供标准化的数据分析服务、数据显示服务、数据监控服务和资源调度服务，并在此层维护标准化的业务数据。用户可以根据自己的需要定义自己的业务。此外，数据服务层还控制数据访问。
d） 业务层：主要是大数据运行的具体业务，如用户全生命周期管理、网络监控、电动汽车分析等。不同的业务可以配置自己的数据仓库，相互独立，不相互影响。
e） 展示层：提供Web、APP同时提供访问SDK外部系统调用标准接口。
f） 安全管理：主要包括用户管理、数据权限管理、业务功能权限管理等，可以为平台各个层级的接口和模块设定相关的权限，实现国网内部多层级、多角色融合的使用场景。
g） 系统管理：包括系统监控、日志管理，以满足系统自维和审计的需要。
四、电力物联网大数据关键技术
基于以上分析，泛在电力物联网大数据分析平台上的关键技术如下。
电力物联网电力物联网的数据来源是多样化的，手机涉及不同的静态和动态处理需求，来自不同的时间和空间。平台应能够支持相同的采集方法，将不同系统、不同格式、不同维度的数据集成到基于拓扑、关系和时间顺序的相同数据模型中，提高数据质量，最终为业务应用（见图2）奠定良好的基础。
图2 营配数据集成分析
社区营（营销）配电（配电）（用电）综合分析涉及社区内部智能电表、集中器、配电变压器、配电站区、营销和外部数据，数据时间粒度跨毫秒、秒、分钟、小时、天等。在配电台区这一级，电网同步相测量单元（PMU）数据与SCADA智能电表数据集成可用于多源数据集成状态估计的分析PMU数据中P、Q、Um、Ua关系。智能电表数据与温度等气象数据的集成可以分析温度对系统有功率和无功率的影响，并结合网络损伤分析，可以进行更准确的负载预测。在营销层面，对于单个用户，可以进行多时间尺度的用电行为分析，整合台区用户型号，做出有针对性的预测和规划，在保证电力服务质量的同时有效降低运营成本。
同时，社区、县供电公司、市电力局也可以根据地理空间维度进行统计分析和比较，找出区域和居民的特点，更好地进行电网预警和检查规划，有效降低运营成本。
电网在运行过程中会产生大量的数据。这些数据可以通过数据挖掘和集成，通过多源数据的空间和时间冗余，从全景中很好地显示电网，也可以从多角度、多层次、多模式准确感知电网局部，有助于电网业务顺利开展和新业务的发掘。
泛在电力物联网涉及大量企业、个人的敏感信息，如身份证信息、户主信息、营业额信息，这些信息切实关系到企业的经济利益和人生安全，因此大数据平台应该有完善的安全管控体系（见图3）。
图3.泛在电力物联网大数据平台安全体系框架
首先，平台应有自己的使用规章和管理制度。其次，平台需要接入国网SG-I6000（国网信息通信一体化调度运行支撑平台）系统中，完成对系统运行指标和关键业务指标的监控。
平台安全框架从下往上分为3层，底层主要是安全策略的执行引擎，存储关于文件、数据库、缓存的安全控制策略以及执行引擎，根据用户访问请求读取相关的策略并且执行；此外，还包括SG-ISC（国网统一权限平台）的集成，完成对用户的统一认证、权限管理。中间层是安全管理服务层，实现大数据平台的多租户管理、数据权限管理以及日志和审计管理工作。顶层为安全接口层，包括独立安全策略接口、数据接口以及使用于移动环境的软件开发套件（SDK）包，其主要涉及的技术包括多租户与访问隔离技术、数据发布匿名保护技术、安全数据交易技术。
五、电力物联网大数据的应用
经过多年的建设，国网公司逐步完善了电网大数据平台，参考各国研究与电科院各所的实际分析，智能电网大数据主要集中在3个方面：社会、政府和相关行业服务；电力用户服务；支持电网自身的放在和运营。2019年，国网在“泛在电力物联网建设大纲”中明确大数据平台/中心，作为内部业务和外部业务的支撑，涉及业务包括提升客户服务水平、提升企业经营绩效、提升电网安全经济运行、促进清洁能源消纳、打造智慧综合服务平台、培育发展信息业务、构建能源生态体系。
目前，电网大数据的建设已经取得了初步成效，并且围绕以上业务方向进行积极探讨，本章选择部分业务方向，对泛在电力物联网大数据平台的应用前景进行一些探讨。
随着国家大力推进绿色能源战略，光伏发电、风力发电获得了长足的发展，这些新能源供电系统并网后带来了一些问题。首先，大规模新能源系统并网后，其输出功率受自然条件影响较大，如风力一般网上电力较强、光伏晚上没有电力，对电网冲击较大，需要进行调峰和调度工作。其次，如果采用分布式供能系统，则会引起双向潮流问题、无功电压不稳问题。为了适应新能源的接入，国网公司大力推进虚拟电厂，是一种“源网荷储”系统，包含“电源、电网、负荷、储能”的整体电网解决方案，期望解决清洁能源消纳过程中电网波动性等问题，推进新能源产业的发展。
虚拟电厂的核心是电网供需侧协调的问题，是基于大数据的分析协调问题。在需求侧，预测用户负荷，聚合可控负荷，提高电网可调控容量占比，提升电网对新能源的接纳能力；在供给侧，将分布式新能源聚合成一个实体，通过协调控制、智能计量和源荷预测，解决分布式新能源接入成本高和无序并网的问题，提高分布式供电系统的接纳能力；同时，通过市场分析，搭配营销手段，以促进用户错峰用电，减少电网波动。大数据平台虚拟电厂控制中心业务如图4所示。
图4.大数据平台业务-虚拟电厂控制
首先，获取虚拟电厂范围内的各项数据，包括环境数据、设备运行数据、电网运行数据等。然后，通过大数据建模以及AI学习，对供给、需求以及储能站进行分析和预测。将预测结果与市场行情结合，撮合交易，促进供需协调，最终实现新能源的顺利入网。
国网公司在运营过程中，累积了大量的数据，具有一整套的电力能源并网、监控、计量、计费、交易、运维等业务流程和相关的支撑系统，在提供优质电网服务的同时，也开放自身能力、知识和平台，旨在为用户提供高价值的增值服务，如面向智慧楼宇/智慧园区的能源管理精细化服务。
作为楼宇或者园区的业主，目前能获取的包括园区总电表数据、分用户电表数据等，这些数据粒度较粗，而不能掌握专业的细粒度数据，且缺少对于专业数据的分析能力，造成园区的能耗管理相对比较粗犷，电力使用量大，运营成本较高。国网公司从智慧能源综合服务平台中，开放自身配用网监测能力，用电数据分析能力，结合大数据分析平台和已有知识，为业主提供一站式能耗管理方案（见图5）
图5.智慧楼宇/园区能源管理
业主可以通过应用查看园区内电网设备的运行情况，监控电网质量和运行指标，并且能通过用电分析进行园区内部的用电分析。用电分析通过大数据平台完成对园区能耗、能效的评估，通过大数据计算与知识库，形成节能方案，并且督导节能方案的执行，最终评估节能效率，核算相关费用，实现用户能耗的优化，流程如图6所示。
图6.大数据平台业务-园区节能方案能耗计算流程
传统的用户行为分析主要完成对用户的初步分类，通过用户类型典型数据以及已有的历史数据，对用户的用电行为进行预测，这种负荷预测相对偏差较大，对于电力设备需要预留更大的余量，无法提高设备利用率。而通过大数据平台，可以针对用户进行细粒度的用户画像和分类，引入预测影响因子，通过数据挖掘和分析深入精准地预测用户的负荷，有效提升设备的利用率，其具体的分析流程如图7所示。
图7.大数据平台业务-用户行为分析流程
用户行为分析的数据主要来源于用户采集系统、配网监测系统、营销系统、调度系统，汇聚相关的数据，通过及模糊算法、聚类算法、最小二乘法、回归方法等算法对于电力用户进行详细的分类。也可以采用逆向分析的方法，从营销已归类的用户特点出发，通过熵权法分析匹配现网数据的特点，验证分类正确性，并进一步对用户进行画像。国网公司可以针对不同的用户提供有针对性的服务，有效提升服务满意度。
在进行用户分析前，还需要引入影响因子，包括以下3类。
a） 用户影响因子，指用户因为自身原因导致对用电行为有较大的波动，这类因子可以根据用户的历史数据、用户提交的用电计划、用户经营情况进行分析计算。
b） 自然环境影响因子，指影响用户用电行为的环境因素，如温度、湿度、风力等，这些环境变量与用户的用电曲线进行融合与分析，可以恰当地筛选出受环境影响较大的用电行为。
c） 社会环境因子，主要包括节假日、重点事件和突发事件等，如春节、十一、两会、广交会等，除节假日外，突发事件与重点事件较多，因子的随机性和不确定性较大，需要对此类因子进行手动选择和筛选。
适用于电力行业的分析内容包括电力用户的分类及细分建模研究、电力用户用电负荷研究、电网设备状态预警与故障率预测、电价与激励下的电力用户响应行为研究等。在分析用户用电行为时，可结合负荷分析方法、聚类算法、负荷预测算法和回归方法等对数据进行分析研究，寻找数据间存在的联系与规律，建立不同负荷类型的用户模型，对用户用电行为进行全面分析预测，目前基于云计算的K-Means 算法是目前用户分析的主流算法。
最后，通过预测结果和实际用户用电数据的差异分析，调整迭代用户分类和分析模型，有助于更精准地完成用户负荷预测工作。