一、研究背景

新一代人工智能（AI 2.0）近年來成為國內外研究的熱點，其結合大數據、超級計算等新理論新技術正深刻影響和改變整個世界的電力與能源產業(yè)，并在涵蓋智能電網與能源互聯網的能源與電力系統(tǒng)（EEPS）中發(fā)揮巨大潛力，將驅動電力、能源和信息產業(yè)的深度融合，形成具有“智慧思維”和“信息-物理-社會融合（CPSS）”的EEPS，開啟未來基于“工業(yè)4.0”、“能源5.0”、“AI 2.0+”的“智慧EEPS(Smart-EEPS)”新時代。

當前，國外紛紛制定人工智能（AI）發(fā)展計劃以搶占新一輪科技變革的先機。在我國，新一代AI已上升為國家發(fā)展戰(zhàn)略，加快發(fā)展新一代AI是事關我國能否抓住新一輪科技革命和產業(yè)變革機遇的戰(zhàn)略問題，是具有溢出帶動性很強的“頭雁”效應。近年來，國家電網有限公司在電網領域相繼開展了AI應用的可行性和關鍵技術研究，并成立了AI應用研究所；中國電力科學研究院有限公司則提出了打造“電網AlphaGo”的理念，以最終實現AI在電網中的深度應用。因此，發(fā)展AI 2.0在中國具備良好基礎，AI 2.0未來在EEPS領域將大有用武之地。

作為AI 2.0中的典型代表——機器學習(ML)，其本質是一個算法范疇，通過分析和學習大量已有或生成數據形成預測和判斷以做出最佳決策。為此，本文以AI 2.0中的機器學習為例，從強化學習、深度學習、遷移學習、平行學習、混合學習、對抗學習和集成學習等7個方面，對其在能源與電力系統(tǒng)調度優(yōu)化和控制決策中的應用進行綜述研究，旨在引起業(yè)內專家學者的興趣，期待在理論、方法和技術研究及應用實踐方面共同推進新一代AI中的ML技術在未來“智慧EEPS”中的蓬勃發(fā)展！

二、關鍵技術要點

2.1強化學習

強化學習（RL）為ML中一個重要的研究領域，屬于主動學習的一種，其本質上是一種在環(huán)境中“審時度勢”地學習策略的過程，強調如何基于環(huán)境（state）而行動（action），以取得最大化的預期收益（reward）。近20年來，以馬爾可夫決策（MDP）為嚴格數學基礎的RL算法成為ML領域一個新的突破，許多經典的RL算法被國內外學者陸續(xù)應用于EEPS領域中，并日益受到國際ML和智能控制學術界的重視。RL在安全穩(wěn)定控制、自動發(fā)電控制、電壓無功優(yōu)化控制、最優(yōu)潮流控制、供需互動、電力市場、電力信息網絡等方面的研究和應用頗多，尤其在電力系統(tǒng)調度控制決策中頗具潛力。但RL在處理EEPS大規(guī)模優(yōu)化和控制決策問題時易出現“維數災”，使得可行解探索困難。尤其是當狀態(tài)空間很大時，將導致計算成本過高，需要與環(huán)境進行大量交互從而獲得反饋用以更新模型，學習效率其實并不很高。因此，近年來，很多學者開始將RL與多Agent系統(tǒng)、其他ML方法、經典控制方法、智能控制理論等相結合，已在多Agent系統(tǒng)協(xié)商學習、分布式發(fā)電系統(tǒng)與微電網、多能源綜合系統(tǒng)、電力系統(tǒng)控制、負荷預測與負荷調度、繼電保護等領域開展了深入研究。未來RL理論的決策和自學習特性、與其他ML方法可有效集成的特性，以及在線學習技術等將有利于其在EEPS應用領域的進一步發(fā)展。

2.2深度學習

深度學習（DL）本質上是具有多層隱藏層的神經網絡，是一種特定類型的典型ML，其基本思想是通過多層的網絡結構和非線性變換，組合低層特征，形成抽象的、易于區(qū)分的高層表示，以發(fā)現數據的分布式特征表示。近年來，為了提高深度神經網絡(DNN)的訓練效果，降低DNN的優(yōu)化難度，一些特有的DL模型和框架被相繼提出，如SAE、DBN、RNN、CNN、深度森林、超深度學習等。目前，在EEPS領域，DL的研究與應用已初步展開，主要涵蓋智能輸電系統(tǒng)的一次設備（如發(fā)電機、變壓器、斷路器等）的故障診斷、電力系統(tǒng)暫態(tài)穩(wěn)定評估、電力大數據融合與異常檢測、短期電力負荷預測、電力設備圖像識別、電力信息網入侵檢測、智能發(fā)電的功率預測、智能輸電系統(tǒng)的分析與控制等。近年來，DL與其他ML結合形成了功能更強的高級混合ML算法，并已在EEPS領域中得到了初步應用?？偟膩碚f，DL在EEPS領域中正扮演極其重要的角色，并將引領新變革。當然，也應認識到DL的缺陷，需在實際工程問題中進行改進，例如“梯度彌散”現象、模型驗證、復雜多數據模態(tài)建模等。

2.3遷移學習

遷移學習（TL）強調的是在不同但相似的領域、任務和分布之間進行知識的遷移，早期研究有終生學習、多任務學習、知識遷移等。在EEPS領域，在求解UC、ED、AVC等高維NLP問題過程中，TL旨在根據任務間的相似性，利用在輔助領域過去所學習到的經驗（知識或策略）和結果應用到相似但不相同的目標領域中進行學習，復用已有經驗以加速新任務的學習速度，可有效提高新任務的學習效率和算法的收斂性。目前，TL已在無功優(yōu)化、負荷預測、風速預測、碳能復合流分散優(yōu)化、風險調度、源-荷協(xié)同頻率控制、供需互動實時調度、AGC功率指令動態(tài)分配等方面得到初步應用。近年來，有關學者還嘗試將DRL與TL結合用來訓練深度策略網絡。例如，在深度Q-學習網絡中引入TL來加快收斂速度，以提高學習性能?？偟膩碚f，對于EEPS領域中不連續(xù)可微、含多極值、多約束的凸或非凸的NLP問題，引入TL能夠將歷史優(yōu)化任務的有效信息轉化到值函數中，從而實現快速的在線優(yōu)化。在進行工程問題研究時，TL收斂性證明比較困難、遷移過程中出現的不穩(wěn)定性等是亟待攻克的難題。

2.4平行學習

平行學習（PL）是王飛躍教授等提出的一個新型的ML理論框架，融合了預測學習、集成學習和指示學習，是一個把“小數據”炒成“大數據”，再把“大數據”提煉成解決具體問題的精準知識的“小智能”的過程，即“小數據、大定律”到“大數據、小定律”的過程。由于PL近年來才提出，其很多細節(jié)之處尚需完備的理論證明。近年來，PL在EEPS已有初步應用，如分布式能源系統(tǒng)運行優(yōu)化、火力發(fā)電廠智能監(jiān)控和平行管理規(guī)劃等。未來，在“工業(yè)4.0”和“能源5.0”背景下，PL結合“平行智能”和“平行能源和社會能源”等理念在綜合能源系統(tǒng)IoM建設、EEPS平行“調度機器人”研究、人工電力系統(tǒng)搭建、基于區(qū)塊鏈技術的智能分布式電力能源系統(tǒng)建模、核電系統(tǒng)仿真等方面將具有很大的應用潛力，期待取得突破性進展。

2.5混合學習

混合學習（HL）表示將至少兩種優(yōu)勢互補的ML方法集成或綜合為一種性能更強的ML，其典型代表是DRL。近年來，有關學者已將DL、RL、TL及啟發(fā)式搜索SI算法、策略式搜索智能算法等方法進行級聯組合形成多種高級HL算法，用于求解EEPS領域的優(yōu)化和控制問題。在所有HL算法中，將DL作為“感知”與RL作為“決策”結合形成HL的一對“黃金組合”——DRL，已被許多學者研究并應用到EEPS領域中來，如緊急狀態(tài)下的電網切機控制策略制定等?？偟膩碚f，HL代表了一種混合增強智能，其雖可充分發(fā)揮各類ML算法的優(yōu)勢，但也存在可解釋性差、穩(wěn)定性無法得到有效保證、不能很好應用到非MDP問題、收斂性無法提供嚴格理論證明等缺陷，因此，未來HL在EEPS領域的研究需著重關注這些問題。

2.6對抗學習

對抗學習（AL）是通過構造相互競爭的生成器和判別器來提高學習的效率，因此又稱作生成式對抗網絡(GAN)。GAN是一個強大的基于博弈論的生成模型學習框架，由Goodfellow于2014年首次提出，其結合了生成模型和對抗學習思想，目前已成為AI學界最為重要的研究熱點之一。在EEPS領域，真實電力系統(tǒng)的數據往往非常復雜，擬合模型所需計算量往往非常龐大，甚至難以承受，利用GAN可構造一個min-max對抗博弈系統(tǒng)來自動產生大量模型仿真數據，并使用隨機梯度下降(SGD)實現優(yōu)化，在很大程度上解決了真實環(huán)境樣本小的問題。在EEPS領域，近年來，有關學者將GAN用于模型無關的可再生能源場景生成、配電系統(tǒng)異構數據資源有效利用、自能源模型參數辨識等方面?？偟膩碚f，GAN作為AI 2.0的代表技術，最大優(yōu)勢在于無需對生成分布進行顯式表達，可大大降低訓練難度，并提高訓練效率，因而可在EEPS領域發(fā)揮重要作用。當然，GAN也存在某些缺點，最突出的就是訓練過程不穩(wěn)定，對多樣性不足和準確性不足的懲罰并不平衡，導致“模式坍塌(mode collapse)”現象發(fā)生。未來，GAN將在克服“模式坍塌”方面繼續(xù)提升，并設法與其他模型融合，比如融合能量函數和RL的GAN，尤其是與RL的深度融合，并用于跨任務學習，這將有力推進AI 2.0在EEPS領域中的應用和發(fā)展。

2.7集成學習

集成學習（EL）嚴格意義上說并不算一種ML算法，而更像是一種優(yōu)化手段或策略，其通常結合多個簡單的弱ML算法有策略地生成一些基礎模型，然后有策略地將它們集成模型組，去更可靠地完成學習任務并做出最終決策，因此，EL又稱為多分類器系統(tǒng)。EL適合于靜態(tài)數據的集中分類等問題，而更為廣義的EL技術可應用于動態(tài)系統(tǒng)的建模和控制。在EEPS領域，近年來，EL主要用于頻率控制、電力系統(tǒng)安全及穩(wěn)定性評估、負荷預測、可再生能源消耗和新能源發(fā)電量預測等方面，已取得不錯的效果，其應用的主要難點在于究竟集成哪些獨立的較弱的學習模型以及如何把學習結果整合起來。此外，EL對噪聲較為敏感、有時陷入局部最優(yōu)、出現過擬合和欠擬合等現象也值得關注。為此，有關學者指出EL可與DL完美結合構成深度殘差學習等網絡，這對于將來為EEPS領域問題提供解決方案具有重要意義。

三、大數據思維下的ML發(fā)展思考

在EEPS領域，電力大數據往往存在多源多態(tài)、異構、復雜、高維、分布、非確定性、指數級增長等特性，導致對這些流數據的采集、存儲、處理、知識挖掘和價值應用等變得異常困難。對于EEPS領域而言，數據科學的發(fā)展和進步將極大地驅動AI 2.0尤其是ML在該領域的快速發(fā)展和深層應用。未來，ML需要與基于數學模型的研究相結合，方能在EEPS各個有關領域取得長足發(fā)展。這也可以看出，大數據思維下的數據挖掘方法與傳統(tǒng)地通過ML建立人工模型進行推導的研究方法并不矛盾，二者反而可以互為補充。當然，大數據思維下的數據挖掘技術尚處于快速發(fā)展之中，與ML中的研究熱點，如DL、DRL、TL、PL、GAN等結合，在EEPS研究中前景廣闊、大有可為，未來值得深入研究。

四、未來展望

目前，AI 2.0距離“很好用”還存在諸多瓶頸，如數據瓶頸、泛化瓶頸、能耗瓶頸、語義鴻溝瓶頸、可解釋性瓶頸和可靠性瓶頸等。ML是為了解決知識獲取的瓶頸問題而出現的，數據和模型對于ML而言是同等重要的。上述AI 2.0發(fā)展遇到的瓶頸也是ML未來發(fā)展所必須面對的。如何有效利用EEPS的運行機理及其數據源，通過合適的ML技術來處理系統(tǒng)的各種復雜任務，以實現整個系統(tǒng)的安全、可靠、經濟、環(huán)保運行，成為了當前國內外的熱點研究問題。近年來，有關學者提出開發(fā)嵌入了專業(yè)知識的ML方法，稱為引導學習，其主要特點是結合了領域知識經驗和ML，提供了一種知識分析與數據挖掘相融合的ML范式，為“人類+機器”協(xié)同混合增強智能的實現機理和電力知識資產傳承管理提供了一條可行的路線。

總的來說，盡管ML在當前的EEPS領域的應用還存在諸多瓶頸，但其潛力和價值是無窮的。在大能源思維和大數據思維下，未來通用的“終極ML算法”是有可能誕生的，它將是大數據挖掘技術和多源數據融合思想等數據科學的充分利用、多種ML方式的深度交叉融合、機器的情感和記憶推理等高級智能。例如，通過引入具有群體智慧的平行ML，建立虛擬的平行人工EEPS，實現王飛躍教授等提出的“平行能源與社會能源”的理念以及“平行調度”的構想，實現知識智能互聯的“能源智聯網”，即信息-物理-社會深度融合系統(tǒng)(CPSS)。因此，通過基于深度特征識別和加裝存儲記憶、推理模塊的RL，DL，TL，PL，HL，AL (GAN)，EL等各種學習方式的交叉融合，新一代數據驅動的“智慧EEPS”未來將有可能實現，最終將會走向“工業(yè)5.0”和“能源5.0”發(fā)展的新時代。

文章原刊于《電力系統(tǒng)自動化》2019年第43卷第I期