10月18日,國網(wǎng)冀北電力有限公司海量平臺分布式實時計算組件正式上線。
海量平臺分布式實時計算組件是國網(wǎng)一體化平臺年度重點建設內(nèi)容,國網(wǎng)冀北電力作為唯一試點單位,結(jié)合海量平臺V3.0和海量平臺深化應用建設的試點經(jīng)驗,積極推進海量平臺分布式實時計算組件研發(fā)應用工作。
隨著海量平臺的持續(xù)深化應用,特別是“電網(wǎng)規(guī)劃深化應用”“量價費損”數(shù)據(jù)分析挖掘類應用的集成,催生了對海量平臺高級二次加工計算及適應不同業(yè)務應用海量數(shù)據(jù)分析的需求。海量平臺分布式實時計算采用API、分布式緩存、分布式計算(分布式流計算、分布式內(nèi)存計算)、分布式協(xié)調(diào)服務等核心組件,既支持實時計算場景,也支持歷史計算場景;計算框架可根據(jù)業(yè)務計算需求橫向平滑擴展,計算結(jié)果同時滿足數(shù)據(jù)庫存儲和實時消息推送,以及可增加質(zhì)量碼字段,用于標識計算結(jié)果的精確性。
自試用以來,海量平臺分布式實時計算組件極大地滿足了電網(wǎng)規(guī)劃深化應用、量價費損等高級二次加工計算及數(shù)據(jù)分析挖掘類應用計算需求。以支撐量價費損為例,海量平臺每天為量價費損定時提供1400萬條18項基礎數(shù)據(jù),用時2小時左右,較之前線下數(shù)據(jù)處理方式效率提升了3倍;海量平臺分布式計算組件每天為量價費損提供1.3億級基礎數(shù)據(jù)條目計算四項復雜業(yè)務分析結(jié)果,用時15分鐘左右,解決了前期采用oracle存儲過程方式因負載過高而無法獲取計算結(jié)果的問題。