打造泛在电力物联网大数据平台

2019-04-15 14:49:22 访问次数: 189
本文是涛思数据创始人陶建辉在《国家电力》2019年第04期首次发表的文章,涛思数据希望在泛在电力物联网大数据平台中,发挥自己的技术优势,贡献一份力量。

1555310767(1).png


建设泛在电力物联网,是国家电网有限公司推进“三型两网”建设的重要内容和关键环节。而其中,如何构建一个强大的数据平台,是加快推进泛在电力物联网建设的前提和基础。

 

泛在电力物联网的数据量将大幅增加

 

电力行业历来重视数据和信息技术,从上世纪80年代起,就采用实时数据库处理发电以及电网采集的各种数据。但随着电网规模的扩大,数据采集量的大幅增加,传统的实时数据库和IT架构已经无法满足海量数据的处理需求,因此最近几年,电力行业开始采用互联网行业的大数据平台技术,最典型的就是将Kafka、Hadoop、HBase、Spark、Redis等技术集成在一起处理海量数据。比如智能电表的用采系统、电费的计算等,都采用这类方案。

 

推进泛在电力物联网建设,需要全方位对电网运行状态、用户用电等进行实时监测、预警、分析,数据采集点和采集频次会大幅增加,数据量将在原来的基础上增加上百倍。

 

以智能电表为例,现在用户的智能电表是一天发送一条记录。如果改为与商业用智能电表一样,15分钟发送一条记录到云端,数据量将至少增加96倍,数据插入请求数也相应的增加96倍以上。以全网智能电表5亿台来统计,一天产生的数据条数就会高达480亿条,现有的大数据解决方案和架构将面临巨大的挑战,即使通过水平扩展增加服务器数量来处理,其运营成本将数量级的增加。

 

从配网的情况来看,即使采集点和采集频率不显著增加,但以D5000、CC2000为代表的主流产品,受限于历史数据处理能力,依然只能围绕实时采集数据、历史断面数据构建应用,拓扑分析技术无法在时间维度纵向扩展。

 

电网数据采集及监控系统(SCADA)作为物联网的一部分,不但要看实时数据,还需要看历史数据,不单需要实时监控,更需要故障预警、趋势分析、运营指标的分析、效率分析等。通过快速存取、分析高频采集数据,将为电网的安全高效运行提供更精准的数据决策支撑。

 

另外一方面,泛在电力物联网与通用的物联网一样,不仅会存在云端的数据中心,也会存在边缘节点。这些边缘节点具备一定的计算和存储能力,能进行数据的预处理和缓存,大幅缓解数据中心平台的压力,而且能更好的保证边缘节点覆盖的区域有更好的数据实时响应能力,更好的支撑本地业务的实时智能化决策与执行。但是边缘计算与云计算需要通过紧密协同才能更好地满足各种需求场景的匹配,从而最大化边缘计算和云计算的应用价值。边云协同对打造泛在电力物联网大数据平台提出了新的要求。

 

采集点的增加和采集频次提高,能带来什么样的效益呢?以智能电表为例,如果将所有电表的数据采集频次提高到1次/15分钟,电网将实现对每个台区线损的实时监测,而不是现在的T-1模式,从而对异常线损实时处理。同时,对输电线路故障实时监测,再也无需用户上报,大大提升运维效率和服务质量。

 

以Hadoop体系为代表的互联网大数据解决方案,主要处理的是互联网领域的非结构化数据,比如爬虫数据、微博、微信数据等。但是,泛在电力物联网的数据与互联网数据有显著不同的特点,表现在几个方面:数据都是时序的,由传感器和设备不断产生,形成一个数据流;除视频、图像外,都是结构化的数据;数据是机器日志类型的,不会有删除或更新的动作;数据是有保留时长的,到期删除;数据流量是平稳可预测,知道测点数、采集频率,能较为准确估算流量大小;数据需要进行实时计算、分析;数据的分析、计算一般都是基于某一个时间段和地域进行;数据量巨大,一天产生上几百亿条记录。

 

除数据特征不一样之外,在数据处理上,泛在电力物联网与典型的互联网相比,还有不一样的需求。比如插值计算、数学函数计算以及某个具体时间点的断面数据等。而且这些数据的处理往往与采集设备的管理直接挂钩,需要依据采集设备的归属、地域以及其他属性进行各种分类统计。

1555310786(1).png


构建相适应的大数据平台

 

随着泛在电力物联网的加快建设,现有的互联网大数据技术平台将遇到巨大的挑战,因为电力数据规模将增加几个数量级,数据分析的量也更多,实时性要求也更高。因此,需要进一步加大信息技术的创新力度,构建和完善适应泛在电力物联网建设需求的大数据平台。

 

这个新一代的大数据平台,要有以下几个特点:充分利用泛在电力物联网的数据特点,在技术上做各种优化,大幅度提高数据插入、查询的性能,降低运营成本;必须能实时处理各种数据插入、查询请求;必须是水平扩展的,随着数据量的增加,只需要增加服务器扩容即可;支持边缘计算与云计算的边云协同;必须是易于维护的,降低对运维人员的要求;必须是开放的,有业界流行的标准SQL接口,便于各种应用集成;必须通过Python、R或其他接口方便集成各种机器学习、人工智能算法。

 

当前,国内外诸多互联网企业看到物联网兴起之后,传统的大数据技术正面临新的考验和挑战,并开始着手研发新一代大数据平台。相信随着泛在电力物联网建设不断加快,必将构建新一代的能源电力大数据平台,从而进一步挖掘和利用好电网的数据资源,提升电网运营的效率和效益,更可靠的保障电网运营的安全,为社会提供新的应用和服务。

 

文章来源: 涛思数据

发表评论

最新评论 (0)

+ 更多评论

看到建筑的心跳!时空信息大数据平台很有料~

中科京云从建筑结构到设备设施信息、空间信息、环境信息、能源消耗信息等实现了自动化统计与分析,提升了管理能力和形象。

2017/08/29 4099

PAAS智能软件定制平台+智能硬件=智能化?

看“三防”手机企业如何实现产品智能化

2017/08/25 4141

物联网OS+SaaS平台,鱼和熊掌想要兼得?

看迪云物联如何从收集到的数据中萃取出价值

2017/08/24 4196

有了美图秀秀,人人都会PS;有了UCC,人人能当程序员

一款降低编程门槛的软件开发工具ucc

2017/08/23 3824

有灯,就有WiFi

全球第一款物联网路由灯

2017/08/21 4283

智能锁会成为智能家居的入口吗?

家居市场正大步踏向新时代,智能家居入口争夺战也愈演愈烈。机器人、路由器、智能锁、智能音箱等智能产品中,哪一个会成为万物互联的中心吗?真正的入口又应具备什么样的功能?

2017/01/05 5814

智能独立行走才是机器人下一个发展重点

从机器人行业来看,对于目前机器人来说最大的障碍在于它的智能化,市面上许多机器人仍需要手动控制实现功能。而导航定位是帮助机器人实现智能化的最重要的功能,让机器人不需要人工控制,自主行动绘制地图,必然会是机器人下一步发展的重点。

2017/01/05 5779

未来的数据中心是“云”和“雾”的结合

在完成了一鸣惊人的智能硬件自助开发平台PaaS+SaaS云服务之后,站在物联网化发展第六个台阶的机智云,又再次高瞻远瞩,看到了未来“核心高速云计算”之下“广泛分布的雾计算”。

2016/11/09 5607

与互联网相比,物联网将带来哪些更深刻的变革?

作为一个物联网圈内人,经常会被问到的一个问题是:物联网和互联网有什么区别?互联网改变了信息的传播方式,物联网则改变了信息的生产方式,甚至其生产者本身。

2016/10/21 5221

在乐视深陷漩涡之时,回看早年对刘弘的采访

风口浪尖上,乐视网明确表述正在快速求解资金链脱困术,并考虑在板块引入战略投资者。今日的危机,也许对乐视又是一次“成事之借”,借以涅槃,得以重生。

2016/11/10 5221

邮箱:iot@we-up.com    QQ:460083021   TEL: 15692103160

©️ 沪ICP备15014316号 微上传媒

联动原素微博

联动原素微信

=1760560" charset="utf-8">