數據倉庫技術(shù)在地區電力調度中的應用
摘要：分析了傳統電力調度數據庫系統在決策分析應用等方面的不足，并提出了在現有數據庫系統的基礎上建數據倉庫的思想。文中具體介紹了該數據倉庫的設計模型、結構以及實(shí)施原則，并對其應用遠景做了展看。 相序表| 萬(wàn)用表| 功率計| 示波器| 電阻測試儀| 電阻計| 電表| 鉗表| 高斯計| 電磁場(chǎng)測試儀| 電源供應器

0引言

地區電力調度同時(shí)擔負著(zhù)所在城市及城市所轄市縣電網(wǎng)的調度運行工作和所在城市的配電網(wǎng)治理工作。由于歷史的原因，電網(wǎng)調度和配電網(wǎng)治理彼此獨立，并由不同職責部分負責。針對地區電網(wǎng)調度的ems(能量治理系統)和配電網(wǎng)治理的dms(配電治理系統)是彼此獨立的兩個(gè)系統，多數軟件由不同的生產(chǎn)廠(chǎng)家提供，各種功能相對獨立，數據不一致題目突出，相互之間的數據共享困難。而電力調度部分在進(jìn)行決策和分析時(shí)需要分析大量的數據，既要有輸電網(wǎng)的數據，又要有配電網(wǎng)的數據，并要求能挖掘出數據之間的相互關(guān)聯(lián)，很顯然這種傳統的ems和dms數據模式不適合決策分析的需求。

隨著(zhù)電網(wǎng)規模的不斷擴大和電力市場(chǎng)競爭機制的引進(jìn)，ems和dms各自積累了海量的數據，如何更好地利用和治理這些日益龐大的同構和異構數據庫，并挖掘出數據之間的潛伏聯(lián)系，幫助企業(yè)更好地分析和決策，已成為地區供電企業(yè)日益緊迫的需求。數據倉庫技術(shù)可以把企業(yè)內、外部數據進(jìn)行有效的集成，主要應用于分析型處理，基于此，本文提出了建立地區電力調度數據倉庫的思想和應用模型。

1數據倉庫技術(shù)

1.1數據倉庫技術(shù)概要

數據倉庫以改進(jìn)后的數據庫技術(shù)作為存儲數據和治理資源的基本手段，以統計分析技術(shù)作為分析數據和提取信息的有效方法，通過(guò)人工智能、神經(jīng)網(wǎng)絡(luò )、知識推理等數據挖掘方法來(lái)發(fā)現數據背后隱躲的規律，實(shí)現從"數據--信息--知識的過(guò)程，從而為企業(yè)治理階層提供各種層次的支持"。

1.2數據倉庫在電力調度的應用特點(diǎn)

1)面向主題：調度部分的ems和dms是以?xún)?yōu)化事務(wù)處理的方式來(lái)構造數據結構的，對于某個(gè)主題的數據經(jīng)常分布在不同的數據庫中，這意味著(zhù)訪(fǎng)問(wèn)某個(gè)主題的數據實(shí)際上需要訪(fǎng)問(wèn)分布在不同數據庫中的數據集合。而數據倉庫將這些數據集中在一個(gè)地方，對應于某個(gè)主題的全部數據被存放在一張數據表中，這樣調度部分可以非常方便地在數據倉庫中的一個(gè)位置檢索包含某個(gè)主題的所有數據。

2)數據集成：地區調度部分的數據庫系統中的數據是分散而非集成的，由于應用軟件提供的廠(chǎng)家不同，分別建有各自的數據庫，導致了現有的數據屬性存在很多同名異義、異義同名，及數據格式、丈量單位和數據代碼含義不一致的現象。因此必須對進(jìn)人數據倉庫的數據進(jìn)行清洗和轉化，保持數據的一致性。 校正器| 轉換器| 傳送器| 變送器| 傳感器| 記錄儀| 有紙記錄儀| 無(wú)紙記錄儀|

3)數據的穩定性：在數據倉庫中，數據一旦寫(xiě)進(jìn)就不再變化了，數據倉庫可以看成是一個(gè)虛擬的只讀數據庫系統，用戶(hù)以只讀方式訪(fǎng)問(wèn)數據倉庫。數據倉庫在數據存儲方面是分批進(jìn)行，定期執行提取過(guò)程為數據倉庫增加記錄，但是這些記錄一旦加進(jìn)，就不再從系統中刪除。

4)隨時(shí)間變化：數據倉庫記錄系統的各個(gè)瞬態(tài)，從而在數據分析的時(shí)候再現系統運動(dòng)的全過(guò)程。數據追加實(shí)際上只是增加在上次數據輸進(jìn)后數據庫變化了的數據。

2地區調度數據倉庫模型

建立地區調度數據倉庫的基本思想就是在現有ems和dms基礎上，把ems和dms中的海量數據進(jìn)行抽取和轉化后存人數據倉庫，并針對不同的主題在數據倉庫中建立數據集市，然后利用oltp和數據挖掘軟件對不同主題的數據進(jìn)行分析處理，從而幫助調度職員做出決策�，F建立如圖1所示的地區電力調度數據倉庫模型.

2.1源數據層

源數據層主要是指地區電力調度現在所擁有的數據庫系統，即ems和dms。另外，由于電力調度在分析和決策時(shí)需要用外部數據，如氣象資料，省域網(wǎng)的部分資料數據等，因此，需要使用的外部數據也包括在源數據層內。

2.2數據提取、轉換／裝載層

地區電力調度系統數據庫中的數據量非常巨大，并不是所有數據都是分析決策所必須的，因此，只需用專(zhuān)用軟件提取分析決策所必須的ems、dms數據和外部數據。另外針對原數據庫系統中數據不一致的情況，必須對不一致的數據進(jìn)行清洗和轉換，使載人數據倉庫中的數據和數據格式能夠保持一致，供分析決策使用。

2.3數據倉庫層

2.3.1數據倉庫存儲

數據倉庫中存儲了數據和元數據，其中數據的存儲方式主要有虛擬存儲方式、關(guān)系表存儲方式和多維結構存儲方式。由于虛擬存儲方式效率差，而關(guān)系數據庫的使用比較普遍，故采用關(guān)系表存儲方式。使用oracle作為數據倉庫設施，將數據存儲在oracle的表結構中，并按星型結構來(lái)組織這些關(guān)系表�，F具體介紹數據倉庫中的數據、元數據、數據的組織結構和對數據的處理。

1)數據

地區電力調度數據倉庫中的數據指的是從ems、dms或外部數據庫中提取，并經(jīng)過(guò)清洗和轉化的數據。由于數據倉庫主要用于olap分析和數據挖掘，因此需在原始數據的基礎上增加冗余信息，進(jìn)行預運算，建立多維數據庫，以迅速轉換數據。

2)元數據

元數據是描述數據的數據，它描述了數據倉庫中的數據和環(huán)境，遍及數據倉庫的所有方面。它包括兩種，一種是操縱型環(huán)境向數據倉庫環(huán)境轉換而建立的元數據，包括所有源數據項的名稱(chēng)、屬性及其在提取倉庫中的變化；第二種元數據是數據倉庫中用來(lái)與終極用戶(hù)的多維貿易模型和前端工具之間建立映射的，這種數據稱(chēng)為決策支持系統(dds)元數據。在數據倉庫中建立專(zhuān)用的元數據庫來(lái)存放和治理元數據。

3)電網(wǎng)數據組織結構

由于ems和dms中數據量非常龐大，因此有必要對數據進(jìn)行綜合。在數據倉庫中，數據被分成4種級別，分別是高度綜合級、輕度綜合級、當前細節級和早期細節級。數據總是首先進(jìn)進(jìn)當前細節級，然后根據應用的需求，通過(guò)預運算將數據聚合成輕度綜合級和高度綜合級。若系統中的一些細節數據隨著(zhù)時(shí)間的推移已經(jīng)老化，很少會(huì )被使用，可以將這些數據導出備份到設備上。
4)數據的處理

數據倉庫中一般存放5至10年的數據，若將全部數據放在一張表內，由于數據量太大，會(huì )降低數據訪(fǎng)問(wèn)效率，因此必須對數據表進(jìn)行公道的分割�？砂磿r(shí)間對表進(jìn)行分割，在表中增加時(shí)間字段，往除與分析主題無(wú)關(guān)的純操縱型數據。

在數據倉庫中，有些數據更新的較為頻繁，如實(shí)時(shí)數據，而有些數據更新的時(shí)間較長(cháng)，如設備信息等。因此，有必要按數據更新的頻率對表進(jìn)行劃分，將不同變化頻度的字段放在不同的表中，各表之間使用相同的"標識號"進(jìn)行關(guān)聯(lián)，以節省存儲空間。

2.3.2數據集市

由于數據倉庫中的數據量很大，若每次訪(fǎng)問(wèn)都要在海量數據中進(jìn)行數據檢索，會(huì )降低數據處理效率，故此可建立數據集市。廣州市駿凱電子科技有限公司數據集市是面向某一特定主題的、從數據倉庫中邏輯上或物理上劃分出來(lái)的數據子集。使用數據集市的主要目的是減少數據處理量。它具有面向部分、有特定的應用、規模小和實(shí)現速度快的優(yōu)點(diǎn)。在地區電力調度中可建立的數據集市有：

1)負荷猜測

負荷猜測是地區電力調度工作的重要環(huán)節，可分為系統負荷猜測和母線(xiàn)負荷猜測兩類(lèi)；而系統負荷猜測按周期又分為超短期負荷猜測、短期負荷猜測、中期負荷猜測和長(cháng)期負荷猜測。在地區電力調度中，ems和dms數據庫系統中的歷史數據的保存期限大多為一年，超過(guò)一年的數據則被導出另外存放，不利于在線(xiàn)進(jìn)行長(cháng)期和中期負荷猜測。數據倉庫能保存5至10年的歷史數據，可運用數據挖掘技術(shù)對電力負荷數據進(jìn)行深度挖掘，獲得影響負荷的主要因素并對負荷進(jìn)行有效的分類(lèi)，然后再利用得到的知識建立負荷模型，從而進(jìn)步負荷猜測的精度。

2)系統安全穩定性評估

電力系統有五種運行狀態(tài)，分別為正常運行狀態(tài)、告警狀態(tài)、緊急狀態(tài)、危急狀態(tài)和恢復狀態(tài)�？衫�用挖掘技術(shù)挖掘海量的電力系統運行數據，獲悉電力系統在何種條件下處于正常運行狀態(tài)、告警狀態(tài)、緊急狀態(tài)、危急狀態(tài)和恢復狀態(tài)，并對系統的安全穩定性做出評估，從而輔助調度職員做出決策。

3)電力系統故障分析

地區電力調度部分已經(jīng)積累了大量的故障數據。系統故障的發(fā)生既有偶然的一面，又有規律性可遵循。運用數據挖掘技術(shù)對電網(wǎng)故障數據進(jìn)行挖掘分析，獲得發(fā)生故障與天氣變化和負荷變化之間的聯(lián)系，從而輔助調度職員進(jìn)行決策，公道安排檢驗計劃，保證電網(wǎng)安全可靠運行。

4)電力系統規劃設計

電網(wǎng)規劃是地區供電企業(yè)規劃活動(dòng)的基本環(huán)節，在規劃過(guò)程中，需要處理大量的信息，可利用聚類(lèi)、分類(lèi)、關(guān)聯(lián)、總結等挖掘工具挖掘模型和數據間的關(guān)系，為輔助決策系統增加約束條件，從而更公道地規劃電網(wǎng)。

5)電力用戶(hù)特征分析

隨著(zhù)電力市場(chǎng)的發(fā)展和競爭的加劇，地區供電企業(yè)需要制定出有競爭力的實(shí)時(shí)電價(jià)，因此，必須對電力用戶(hù)進(jìn)行正確分析。電力系統的用戶(hù)具有多樣性和隨機性，可利用olap多維分析的特性，對用戶(hù)的行為模式及負荷要求進(jìn)行分門(mén)別類(lèi)，在保證系統安全和穩定性的條件下，對不同種別的用戶(hù)，采用不同的營(yíng)銷(xiāo)策略，制定出公道的電價(jià)收費表，以進(jìn)步市場(chǎng)競爭力。

2.4邏輯應用層

邏輯應用層主要包括olap、數據挖掘和界面子系統�，F具體分析如下：

2.4.1olap子系統

在ems和dms中，調度職員通過(guò)聯(lián)機事務(wù)處理(oltp)和sql可對數據庫進(jìn)行簡(jiǎn)單查詢(xún)。隨著(zhù)時(shí)間的推移，電網(wǎng)規模不斷擴大，ems和dms中的數據量也急劇增加，廣州市駿凱電子科技有限公司調度職員需要從多個(gè)維度來(lái)觀(guān)察調度系統的運營(yíng)情況，從而輔助決策。很顯然，傳統的簡(jiǎn)單查詢(xún)模式已不能滿(mǎn)足電力調度職員的需求。olap是針對某個(gè)特定主題進(jìn)行聯(lián)機數據訪(fǎng)問(wèn)、處理和分析，通過(guò)直觀(guān)的方式從多個(gè)維度、多種數據綜合程度將系統的運營(yíng)情況展現給使用者。它通過(guò)對多維組織后的數據進(jìn)行切片、切塊、聚合、鉆取、旋轉等分析動(dòng)作，剖析數據使調度職員能從多種維度、多個(gè)側面、多種數據綜合程度查看數據；了解數據背后的規律，從而輔助決策。

2.4.2數據挖掘子系統

隨著(zhù)計算機技術(shù)在電力系統的廣泛應用，地區電力調度部分已經(jīng)積累了大量的運行數據和非運行數據，這些數據記錄了地區供電企業(yè)多年的運行狀況，電力調度職員急需對這些歷史數據進(jìn)行深進(jìn)分析，以獲得有價(jià)值的信息，輔助調度員進(jìn)行決策，進(jìn)步電網(wǎng)運行的可靠性。

數據挖掘是一個(gè)利用各種分析工具在大量數據中發(fā)現模型和數據間關(guān)系的過(guò)程。數據挖掘從大量數據中提取隱含在其中的人們事先未知、但又是潛伏有用的信息，并以人們可以理解的模式展現。它的基本過(guò)程是首先對數據進(jìn)行預處理，然后選擇算法，提取規則，并對結果進(jìn)行評價(jià)。

2.4.3用戶(hù)界面子系統

用戶(hù)界面子系統主要是把olap和數據挖掘的分析結果通過(guò)友好的界面展現給終極用戶(hù)，從而輔助用戶(hù)進(jìn)行決策。

目前數據倉庫在電力系統的應用還處于探討階段，沒(méi)有大規模的投進(jìn)使用，因此在建設地區調度數據倉庫時(shí)，不應采用傳統的瀑布式開(kāi)發(fā)方法，而是采用螺旋式開(kāi)發(fā)的方法，將一個(gè)龐大的任務(wù)劃分成多個(gè)階段，在每個(gè)階段完成后，再開(kāi)始新的開(kāi)發(fā)，從而避免由于早期考慮不完善而造成巨大的經(jīng)濟損失。

3結束語(yǔ)

由于數據倉庫具有主要面向分析型應用，輔助企業(yè)進(jìn)行分析決策的強大上風(fēng)，數據倉庫技術(shù)正在逐步應用于地區電力調度部分。廣州市駿凱電子科技有限公司在原有數據庫基礎上，建立地區電力調度數據倉庫，利用olap和數據挖掘工具對數據進(jìn)行深進(jìn)的分析和挖掘，找出數據之間的潛伏聯(lián)系，從而在負荷猜測、系統安全評估、電力系統故障分析、電網(wǎng)規劃和電力用戶(hù)特征分析等方面輔助調度職員進(jìn)行決策，減輕調度職員的負擔。然而數據倉庫究竟是一門(mén)新興技術(shù)，其在地區電力部分的應用還處于初期階段，很多功能還在探討之中。隨著(zhù)數據倉庫技術(shù)的進(jìn)一步完善，數據倉庫技術(shù)在地區電力調度系統中的應用也將進(jìn)一步完善和發(fā)展。