前言:想要寫出一篇令人眼前一亮的文章嗎?我們特意為您整理了5篇信息系統質量管理范文,相信會為您的寫作帶來幫助,發現更多的寫作思路和靈感。
[關鍵詞]質量管理;信息系統;經濟
新常態經濟新常態的實質是經濟基礎的對稱性和穩定性,并在此狀態下追求可持續發展的一種經濟指標,它的基本要求并非是經濟總量,而是特定時段內經濟結構的協調性。因此,質量管理信息系統的建設,一方面是提高產品質檢部門工作效率的需要,另一方面也是實現經濟新常態化的需要。在實踐中,產品質檢部門的信息管理系統建設需要重點圍繞四個層面來開展:一是質量數據的統計,二是質量檔案的建立,三是專業設備的完善,四是人才隊伍的組建。對此,本文立足產品質檢單位的工作實踐,圍繞上述四個層面對經濟新常態下質量管理系統的構建進行探討。
1質量管理信息系統的功能和特點
1.1質量管理信息系統的主要功能
當前,在計算機快速普及的背景下,為提高工作效率出現了很多信息管理軟件,其功能多樣,同時也具有強大的利用價值。對于產品質檢部門來說,質量管理信息系統的建設有助于提高服務質量,拓展業務范圍,同時也有利于提高經濟效益。它的實用功能主要體現在以下三個層面。其一,質量管理信息系統為產品質檢部門提供了快速和便捷的信息處理、加工、儲存和傳輸服務,這一系統的出現,淘汰了傳統手工信息管理的模式,極大地提高了工作效率。其二,質量管理信息系統規范了產品質檢部門的業務流程,如樣品登記、檢驗和出具檢驗結果。在這一過程中,質量管理信息系統對每一個崗位、每一個環節都提出了新要求和新規范。其三,質量管理信息系統提高了產品質檢部門的綜合管理力度,并通過數據管理為日常工作中做出的一些決策提供了參考依據。
1.2質量管理信息系統的主要特點
一是精確性。它能精確處理日常工作中遇到的各種數據,準確顯示數據的錄入時段和變化情況,協助產品質檢部門處理各種問題,提高解決問題的效率。二是快捷性。質量管理信息系統操作簡單,信息傳輸速度快,平時以數字化狀態儲存于計算機系統中,一旦需要使用,則可立即打印成紙質文件。如產品檢驗結果的打印,與產品檢驗相關的所有數據都儲存于計算機中,一旦明確了檢驗結果,則能立即打印成檢驗報告并轉給送檢方。三是靈活性。質量管理信息系統能自動處理輸入的各項數據,并能通過網絡實現資源共享,具有較強的靈活性。四是集成性。質量管理信息系統由多種功能和多個子功能構成,每一個功能和子功能都對應一個單獨的數據處理模塊,在實踐應用中可根據需要將它們集合,又能將它們分散。
2經濟新常態下質量管理信息系統的構建
2.1質量數據的統計
要建立質量管理信息系統,首要前提是統計當前的質量數據。對于產品質檢部門來說,質量數據主要是指日常工作中收集到的關于產品質量的相關數據。在實踐中,產品質檢部門將每一季度或每年接收到的送檢產品的數量、質量情況進行記錄備案,通過整理成為質量數據。同時,在每個季度或每年的質量數據統計中,將合格率以百分比的數據形式進行呈現。然而,質量數據的統計和儲存需要一個軟件平臺,當前,可用于數據統計和儲存管理的軟件主要包括FoxTable和lIMS(實驗室信息管理系統)。其中,FoxTable集Excel、Access、FoxPro和易表的功能于一體,在數據錄入、統計和管理等方面有著強大的功能;而lims則是包括數據采集設備、數據通訊軟件和數據庫管理軟件在內的高效集成系統,它以“實驗室”為核心,實現了數據管理和業務流程管理等綜合因素的有機結合,便于產品質檢部門和各中心單位更高效快捷地進行質量數據統計和管理,提高了數據的準確性和數據統計的有效性。
2.2建立信息化質量管理檔案
檔案管理是產品質檢部門內部管理中的一項重要內容,傳統的檔案管理以檔案柜儲存檔案材料,以人力完成建檔、歸檔和檔案利用等一系列過程,不僅費時、費力,且工作效率極低。而建立了質量管理信息系統后,相關人員可將檔案錄入信息系統,將紙質化的檔案轉化為數字化檔案,在方便管理的同時也方便查閱。在實踐中,產品質檢部門可通過兩個層面建立信息化質量管理檔案。其一,利用ETL數字倉庫技術建立信息化質量管理檔案。這一技術為產品質檢部門的日常工作提供了軟件支撐,它的工作特點是,涵蓋了從檔案錄入到檔案利用中的所有環節,提高了檔案儲存、傳輸和共享的效率。目前,ETL屬于綜合性管理軟件,它的代表性軟件主要包括Informatica、Datastage、OWB、微軟DTS、Beeload和Kettle等,它們之間可以相互組合使用,也可以與其他歸檔通訊系統互補,如將ETL與PACS和LCS等歸檔系統相結合,或與萊微、金銳、易度等信息管理軟件組合,在提高檔案儲存管理效率的同時,也通過多方共享來提高檔案的利用效率。其二,創建檔案信息檢索系統。檢索系統是產品質檢部門質量管理檔案的“總目錄”,它涵蓋了質檢部門在一定工作期限內關于產品質量檢驗的所有數據。但按照類型劃分,檢索系統中只包含了兩個類型的信息,其一是對外信息,如某一時段內樣品送檢的數量、合格率、出具檢驗結果的時間段等;其二是對內信息,包括內部管理的所有環節,如財務、制度等。檔案信息檢索系統的創建是一個復雜的過程,但對于產品質檢部門而言,鑒于其工作性質與企業不同,不需要復雜的財務、規劃、人力資源等信息,因此,其工作的核心主要可分為兩個部分。首先是分類檢索語言的設置,將檔案內容按照字母編號錄入檢索系統,便于隨時查閱;其次是檢索內容的分類,主要包括檔案類型檢索、存放位置檢索、文檔部門檢索和錄入時間檢索四個類型。
2.3質量管理硬件設施的構建
隨著產品質檢部門在日常工作中,對質量管理信息系統的要求不斷提高,隨之配套的計算機系統也應不斷進行完善,一方面可在部門內部擴大信息化、數字化工作模式的普及范圍,另一方面可為質量管理信息系統的構建提供硬件支撐。在實踐中,產品質檢部門首先要構建一個集業務、財務、部門、職工等綜合一體化的計算機工作平臺,部門下屬的各個中心單位都要以計算機平臺為工作載體,將相關的數字化信息及時、準確地進行收集、公布、傳遞與共享,提高質量管理效率。其次,通過產品質檢部門的整體規劃與部署,對各個中心單位的計算機系統進行分步升級與完善,更新換代要及時、有效,保障信息流程暢通,從而建立起以計算機為載體、以質量管理信息系統為媒介的高效工作模式。
2.4組建專業的人才隊伍
在質量管理信息系統工作模式下,無論是軟件操作還是硬件的更新,都需要通過專業的人才隊伍來實現。因此,產品質檢部門應加大在人才隊伍組建方面的投入力度。一方面,要通過加強專業培訓,提高現有職工的計算機操作能力。在實踐中,產品質檢部門可組織職工定期參加計算機應用培訓,讓職工了解質量管理信息系統中軟件、硬件的使用和維護,或在單位內部讓具有計算機專業知識的職工演練和講解軟件、硬件的操作。同時,將計算機操作能力作為一項評定指標納入職工的績效考核范圍,督促職工積極主動提高自己的計算機應用技能。另一方面,產品質檢部門也可與當地的職業院校進行合作,讓計算機專業的學生來單位進行實訓,營造出以計算機應用為核心的工作氛圍;同時,也可讓職工參加職業院校的計算機專業課程培訓,從而通過產品質檢部門與職業院校的合作,組建一支專業的計算機應用人才隊伍,為質量管理信息系統的構建奠定基礎。
3結語
經濟新常態下的質量管理信息系統建設是一項系統的工作,在這項工作中,既包括了人才隊伍的建設,又包括了軟件、硬件系統的建設以及日常工作模式的轉變。只有這樣,才能構建起完善的信息化質量管理體系;才能提高產品質量檢驗的效能,從而使質檢部門為社會提供更加快捷和高效的服務。
主要參考文獻
[1]代紅梅,黃忠全,張根保,等.ISO9000質量管理信息系統的通用性設計[J].重慶大學學報,2004(8).
[2]呂慶領,唐曉青.支持產品協同制造的質量管理信息系統[J].北京航空航天大學學報,2004(4).
[3]呂慶領,唐曉青.基于Intranet/Extranet/Internet的企業質量管理信息系統[J].計算機集成制造系統,2002(9).
[4]賈曉燕,楊曉英.產品質量管理信息系統總體設計[J].制造業自動化,2010(5).
關鍵詞:信息系統 質量管理 流程化管理
中圖分類號:TU201.2 文獻標識碼:A 文章編號:1672-3791(2013)03(c)-0180-02
隨著軟件技術在各行各業的廣泛應用,創造高質量的產品對于軟件企業的生存與發展至關重要。項目質量管理作為項目管理體系的基礎,已成為項目管理向深層次發展的主要標志和不可缺少的內容,在項目管理中的重要地位不可替代。有效地管理和控制項目研發過程,施行質量控制和質量保證活動,對于提高軟件產品質量至關重要。
1 信息系統項目質量管理
項目質量管理是指在約定的時間和范圍、預算的成本以及要求的質量下,達到項目干系人的期望。項目質量管理是項目管理的重要組成部分,它與范圍、時間和成本是項目成功的關鍵因素(如圖1)。
1.1 確定質量方針和目標
每個項目的特點不同,要交付的工作產品也不盡相同,因此需要了解用戶需求,分析業務特點,結合信息系統行業評價指標,為項目制定適用、根據形成可量化、可管理的確定了項目質量目標,作為校驗項目過程和結果的標準。
1.2 制定質量計劃
做好項目質量管理計劃,確定了項目質量目標和管理策略,為質量保證和質量控制工作提供基準。質量管理計劃主要內容包括項目質量保證計劃、度量計劃、評審計劃和測試計劃等主要子計劃。
1.2.1 質量保證計劃
質量保證計劃要包含3要素,即3W:
When—— 檢查時機;
What—— 采取什么樣的檢查策略;
Which—— 使用何種檢查單。
1.2.2 度量計劃
定義了項目執行過程中要度量的質量指標及其閾值,及超出閾值范圍后,所需采取的應對措施。質量方面的度量指標除了如***等業內常用評價指標外,需要重點關注客戶方無法具體提出的指標,如系統性能指標。這就需要我們通過參考類似項目的歷史系統數據,結合專家討論的方式最終決定(如表1)。
1.2.3 評審計劃
加強需求、設計階段的評審工作,可有效地減少后期衍生的缺陷數,降低修復成本。因此,需要我們制定詳盡的評審計劃,明確評審級別、評審時間、評審人員等信息,力爭缺陷早期發現早解決。
1.2.4 測試計劃
測試計劃描述了要進行的測試活動的范圍、方法、資源和進度的文檔。它確定測試項、被測特性、測試任務、誰執行任務、各種可能的風險。測試計劃可有效地預防風險,保障測試工作的順利實施。
1.3 開展質量控制和質量保證活動
1.3.1 項目質量控制
首先,定期跟蹤項目質量目標,控制項目質量。依照項目度量子計劃采集、度量項目質量數據。當數據在預先設定的偏差范圍內時,表示該周期內達到了項目質量目標。但是需要分析度量數據的可信度,避免缺陷不能及時發現。當度量數據超出閾值范圍,周期內質量目標未達到時,需深入分析原因,根據實際情況制定糾正措施(如圖2)。
其次,采用針對性的評審技術,及時解決出現的問題。評審是保證質量的重要手段之一。根據行業經驗,早期缺陷若不及時發現和更正,遺留到后期衍生的缺陷數和修復工作量將呈指數遞增。在需求階段,對需求規格說明書可在項目組評審的基礎上增加專家評審。在編碼階段中,采用代碼走查的方式加強對關鍵模塊關鍵代碼的審查。
對于評審工作,需要關注的評審數據的分析。這往往容易在項目質量管理中被忽視。表面上,缺陷密度等評審數據達到了質量標準。但結合備審用時、評審用時、評審人員等因素綜合考量,有可能出現評審不充分,部分缺陷未能被發現。此時應該重新評審,確保評審工作質量。
最后,做好軟件測試工作,為產品上線把關。軟件測試是檢查工作產品是否符合質量標準的重要工作。絕對避免本項目的開發人員兼任測試人員的情況出現。在需求階段,測試人員就應介入,了解項目需求,根據項目范圍和質量要求,制定初步的測試方案,隨著項目深入,逐步細化。在測試執行階段,可使用測試管理平臺QC(QualityCenter)對功能測試進行管理和缺陷跟蹤,使用LoadRunner、Diagnositics和WebInspect等工具進行性能和安全測試。
1.3.2 項目質量保證
QA作為軟件研發過程的監督者,有責任和義務為項目遵循開發過程體系提供咨詢和指導;依據質量保證計劃、過程/產品檢查模板對相應的活動或產品進行檢查。當產生不符合項時,QA需及時與相關人員溝通、確認、解決,直至不符合項關閉。
1.4 實施持續的過程改進
以PDCA循環(策劃—實施—檢驗—處置)為手段,持續改進。不斷提高質量目標,不斷采取改進措施,從而實現質量的螺旋上升。
2 結語
項目質量管理雖然是項目管理的重要組成部分,不等于項目管理的全部,也不是獨立存在的個體。在加強項目質量管理的同時,還需充分考慮項目時間、成本、風險等等其他領域。如何針對不同類型的項目,開展行之有效的項目管理,取得最終的成功,還需要更加深入地探討研究。
參考文獻
[1]鄔華芝.質量管理體系與認證[M].北京:中國計量出版社,2013:59-93.
[2]蘇秦.現代質量管理學[M].北京:清華大學出版社,2013.
[3]柳純錄.信息系統項目管理師教程[M].北京:清華大學出版社,2011:179-202.
1.1軟件開發
金融系統軟件開發綜合瀑布型和V型生命周期測試模型的優點,將測試活動貫穿整個軟件開發生命周期,避免系統風險,提升項目軟件的整體質量。
1.2軟件開發過程改進
軟件開發項目質量管理的主要方法是利用成熟度模型,即軟件能力成熟度模型,簡稱CMM(CapabilityMaturityModeforSoftware)。CMM模型包括軟件工程、系統工程、硬件工程,分為五個等級,每個等級包含相應的過程域。該模型包含了軟件需求、設計、開發、編碼、測試、投入運行、軟件退役等整個生命周期里各個過程的基本要素,是開發過程改進的有機匯集,此模型對保證開發質量、控制項目時間、降低開發成本具有重要指導意義。
2工程實施推廣階段質量管理
2.1上線準備
質量目標:(1)系統業務功能,驗證應用系統各業務功能及業務流程滿足業務部門的需求。(2)系統性能,驗證和優化邏輯集中系統性能,使之能夠滿足性能需求。(3)系統健壯性及安全性,驗證邏輯集中系統的健壯性、安全性,使其能夠滿足生產運維的要求。
質量活動:(1)業務測試,驗證應用系統的業務功能是否滿足業務需求。(2)全面分析業務測試用例,選取覆蓋業務的測試流程,由業務人員針對所有的需求功能點和業務流程進行驗證。并通過專業的測試管理工具對測試用例及測試缺陷進行跟蹤管理。
技術測試:(1)性能測試及優化,目標是提高系統的性能質量。(2)通過工具模擬真實系統上線后可能出現的業務高峰情況,對系統進行壓力測試,驗證系統性能,確保系統處理能力能夠達到相關性能指標。(3)健壯性測試目標,提高系統整體健壯性。(4)通過各種健壯性測試,驗證系統在發生各種異常情況下的健壯性,主要包括:異常測試、穩定性測試、雙機切換測試及容災測試等。(5)安全測試目標,提高系統的安全性,通過工具進行安全測試,全面檢查和消除系統的安全隱患。
2.2運行維護階段
2.2.1質量目標
生產系統版本質量:盡可能降低運維階段應用版本、系統軟件版本、硬件系統等變更和升級所帶來的風險,最大限度減少對生產系統的運行質量造成負面影響。生產系統運維質量:盡可能提高生產系統的高可用性,最大限度保證系統的穩定和安全運行。
2.2.2質量活動
功能回歸測試:(1)目標是快速檢驗運維階段相關系統及應用版本升級對業務功能質量的影響。(2)應用及系統版本新在運維階段非常頻繁,每一次版本的更新都需要對業務功能進行驗證,所以需要使用自動化回歸測試工具進行高效率的功能性測試,提高版本升級的質量。
性能回歸測試:(1)目標是快速檢驗運行維護階段各系統升級或變更后整個邏輯集中系統的性能質量。(2)在運行維護階段,經常會面臨應用系統、主機操作系統、中間件和數據庫等系統的版本升級,這對于系統的性能是一個巨大的潛在風險,因此需要進行高效率的性能自動化回歸測試,通過工具快速檢測各種因系統版本變化和升級對于邏輯集中系統性能的影響,盡可能降低性能問題被帶入生產系統的機率。
綠燈測試:(1)目標是對系統升級后的版本進行檢驗,驗證關鍵業務和流程在系統上線后的可用性和正確性。(1)選取關鍵、典型的業務及流程,通過應用開發綠燈測試程序部署在生產環境上,在生產系統進行版本更新后,使用綠燈測試程序將選取出的關鍵、典型業務及流程在生產系統上進行驗證,盡量確保在版本更新后不會對生產的關鍵業務和流程造成影響。
事件管理:(1)目標是實現運維事件的快速發現及處理。(2)內容是建立統一的故障處理及服務請求響應平臺,對整個系統進行集中的運維管理。通過這個統一的平臺,可以對事件及服務請求進行統一的記錄、處理及響應,同時可以對請求進行分析,對運行狀態進行分析與管理。
系統配置管理:(1)目標是提供IT基礎架構精確信息;同時監控和維護這些信息從而實現對基礎架構的控制。(2)建立系統的配置數據庫和對配置數據庫的維護流程與監控機制。應用版本管理:(1)目標是對于應用版本的的內容及質量進行管理,實現對版本的質量的控制(2)內容是制定版本管理辦法,明確版本的流程,對于需要更新生產環境的版本,都需要經過有效的版本驗證、操作步驟驗證及回退性驗證。
變更管理:(1)目標是通過對于生產環境變更的有效管理,從而最大程度上提高生產環境變更的成功率。(2)對變更內容進行分級,對于重大變更建立變更的評估機制,建立完善的變更實施計劃,對變更的實施結果進行回顧。
3結束語
【關鍵詞】計算機信息系統集成 質量管理質量控制
Abstract: Concept of total quality management applied to the quality of the computer information system integration project management, combined with computer information system integration features of the project and our actual experience, the winning projects as a systems integrator how the computer information system integrationquality management implementation of the project to start on.
Keywords: computer information system integration, quality management, quality control.
中圖分類號: G623.58 文獻標識碼:A文章編號:
【引言】信息系統的集成,不只是為用戶提供信息共享的功能,而是要通過網絡的建立,將復雜的硬件、軟件、業務、信息、服務有機地結合起來,為用戶最大限度地整合信息資源,提供信息系統的有效運行平臺,為政府、企事業單位的日常管理、決策、發展規劃提供幫助并發揮應有的經濟效益和社會效益。因此,信息系統集成的質量控制是十分重要的,只有編制詳細的、有針對性的質量計劃、實施嚴格的質量控制,才能真正實現信息系統的質量建設目標,讓客戶滿意。
計算機信息系統集成項目的質量目標不僅僅是系統運行正常,而是在系統運行正常的前提下滿足客戶的需要,出發點是項目的全面質量管理。
1 影響計算機信息系統集成項目質量的因素
項目實施之前,首先要對影響計算機信息系統集成項目質量的因素,按人、機、料、法、環五個方面進行分析,制定質量預防、控制措施。
1.1 干系人的質量意識和質量能力
干系人包括建設單位、監理單位、系統集成商、施工分包單位、軟件設計分包單位、軟硬件及其其他配件供貨商、軟件設計人員、施工作業人員等。
(1) 系統集成商要對項目經理資質、質量意識和質量能力進行評審,確定能勝任的項目經理。項目經理除了必須了解項目團隊成員包括網絡設計和調試人員、軟件開發人員、施工作業人員、管理人員的特點、經驗、技能外,還應了解他們的質量意識和質量能力,才能有針對性地進行質量管理。
(2) 系統集成商包括項目經理及其項目團隊要與建設單位、監理單位多溝通,了解其執行的標準、規范和質量要求、流程,制定有針對性的質量計劃。
(3) 對于施工分包單位、軟件設計分包單位、軟硬件及其其他配件供貨商應納入合格供應商評價體系,對其資質、質量體系、產品質量、施工質量、供貨期、售后服務進行評審。
1.2 現場環境勘察和系統需求分析因數
自然環境、作業環境、管理環境、系統接入服務環境、供配電輸入環境和防雷接地環境都會對系統質量形成相當影響。
現場環境勘察和客戶需求的調查分析的結果,將直接影響項目的系統總體規劃設計和數據庫定義是否合理、適宜、完善,以及系統運行的可靠性。
1.3 系統總體規劃設計和軟件開發設計因數
系統規劃設計將直接影響項目硬件和應用軟件、數據庫的可靠性、正確性、充分性、合理性和系統運行效率。
軟件開發設計將影響程序的可維護性(可讀性、可理解性、可修改性)、代碼邏輯與效率、函數(模塊)接口正確性、可測試性。
1.4 設備材料和系統開發、運行平臺
設備材料的質量、規格、性能是否符合設計規定的標準直接關系到項目硬件系統的質量。中間件、系統開發、運行平臺、數據庫是否符合設計要求和軟件產品質量標準將直接關系到項目開發應用軟件系統的可靠性、穩定性、兼容性、可測試性。
1.5 質量計劃應強調的質量因素
質量計劃對影響項目質量的重要因素要明確和落實。
(1) 質量目的是為確保項目完成的工期、實現系統的功能和達到的性能指標以及系統運行的可靠性,規定質量保證措施、資源及活動應具有的順序,確保產品的實現過程受控有效,完成的項目滿足用戶的要求。
(2) 落實項目實施的管理組織、職責分工、工作程序、項目實施順序、質量控制點以及技術工藝、方法、工具等。
(3)風險控制及預防。
2 計算機信息系統集成項目的質量管理過程
2.1 質量計劃編制
系統的目標決定了系統的組織,而組織是目標得以實現的決定性因數,所以質量計劃首先是確定項目質量目標,并根據工作分解結構(WBS)將目標分解到每個工作包,并按職責分工將工作包的質量目標落實到每個小組成員。每個工作包的輸入和輸出都必須予以明確。工作包根據項目情況不同,一級WBS包括需求分析、系統規劃設計、軟件開發測試、設備材料及軟件采購、項目施工、竣工驗收、售后服務等。
對于項目分包,必須建立對分包方的管理制度;同時,分包方必須要有相應的質量計劃和實施方案,經過總包方審核后實施。
建立與項目目標相一致的項目管理組織,明確各工作包的質量責任人。
2.2 質量保證
建立質量保證組織。質量組織和項目管理組織不同,項目管理組織主要是執行質量計劃(質量管理方面),質量保證組織是組織實施質量活動、檢查質量計劃的執行情況。
制定質量活動計劃。根據項目進度計劃制定質量活動計劃,如:系統需求報告完成后進行需求評審、設計完成后進行設計評審、現場施工的質量檢查、各個階段質量記錄的檢查、質量整改閉環檢查等。
2.3 質量控制
對于在質量計劃實施、質量活動中發現的缺陷和問題,必須采用一定的工具和方法進行分析,找出原因,進行改進。
計算機信息系統集成項目的質量管理包括全過程的質量管理、全方位的質量管理、全員參與的質量管理。從不同側面對計算機信息系統集成項目進行質量管理。
3 計算機信息系統集成項目質量控制點
計算機信息系統集成項目的全過程質量管理涉及項目的整個生命周期,包括需求分析的質量管理、深化設計的質量管理、系統實施的質量管理、集成運行測試的質量管理、變更控制的質量管理、收尾及驗收的質量管理、保修期的質量管理、保修期后的質量管理。
3.1 需求分析的質量管理
需求分析是系統實施方案的輸入,是計算機信息系統集成項目中最困難、對項目成敗影響很大的過程。有幾種原因使需求分析變得困難:
(1)用戶需求不明晰,理解有誤;
(2)需求自身經常變動;
(3)設計人員理解有誤。
【關鍵詞】數據質量;業務績效;信息系統;現狀
1.數據質量背景
南方電網公司2012年工作會議明確提出要“著力提高精細化管理水平”,扎實開展“管理提升年”活動,推進公司整體管理水平的提升。隨著公司信息化建設的不斷深入,對數據信息的需求量越來越大、要求越來越高,數據質量的高低直接影響和決定著業務數據、統計信息的有用性及其價值,直接關系到公司的經濟效益、社會效益以及公司管理和發展的順利進行,因此迫切需要開展數據質量專項工程,切實落實“突出抓好數據質量”的要求,深化應用信息化手段,推動管理提升和管理精細化。
2.數據質量現狀
經過多年信息化建設,公司在數據質量管理方面取得了一定的成效,整體數據質量得到了一定提升。但是在傳統管理模式下,還存在諸如缺乏統一管理、數據源不唯一、責任不明確、缺乏企業資源統一建模以及數據標準執行不到位等問題。以安全生產設備為例,問題主要如下:
(1)缺乏統一管理:目前設備涵蓋了變電、輸電、配電網,變電和輸電設備的管理主要在主網生產或資產系統中集中管理,而配網設備則是在營配一體化或配網生產系統中,管理源頭不統一。
(2)數據源不唯一:主網生產系統、資產系統、營配一體化系統、配網生產系統由不同的廠家在不同時期建設,數據要求不統一,導致數據源不統一。
(3)責任不明確:設備數據的建立橫跨了工程、物資、生產、財務等多個部門,涉及的業務部門多、數據復雜、信息量大,數據未進行很好的職責劃分,導致業務部門在數據信息的錄入和管理上缺乏指導及考核,數據的質量不高,管理混亂。
(4)缺乏統一建模:由于系統建設的周期不一致,對設備的數據的應用范圍要求也不一致,未形成統一的設備模型,導致同類設備,在元數據模型上存在差異,影響到數據分析及數據質量。
3.數據質量概述
數據質量也就是信息質量,不良的數據將產生不準確的信息和較差的業務績效。在系統建設的不同階段,對數據質量的關注點也有所不同。早期對數據質量的關注點主要是提高數據準確性,隨著系統功能和定位的不斷延伸,關注的重點逐步由數據準確性擴展至完整性、一致性、及時性等方面,這些內容也屬于數據質量的范疇。
數據質量好不好,首先需要考慮數據質量六大基本要素是否滿足,所謂六大基本要素是指:
完整性:主要包括實體不缺失、屬性不缺失、記錄不缺失和字段值不缺失四個方面;
(1)唯一性:指主鍵唯一和候選鍵唯一兩個方面;
(2)一致性:指統一數據來源、統一存儲和統一數據口徑;
(3)精確度:指計量誤差、度量單位等方面的精確程度;
(4)合法性:主要包括格式、類型、域值和業務規則的有效性;
(5)及時性:指數據刷新、修改和提取等操作的及時性和快速性。
4.影響因素分析
如圖1所示,影響數據質量的因素主要來源于四方面:信息因素、技術因素、流程因素和管理因素。
4.1 信息因素
由于對數據本身的描述理解及其度量標準的偏差而造成的數據質量問題,產生這部分數據質量問題的原因主要有:
(1)元數據描述及理解錯誤、數據度量的各種性質得不到保證和變化頻度不恰當等。
(2)元數據描述及理解錯誤中的相關元數據主要包括業務描述、業務規則、業務術語、業務指標口徑等。
(3)數據度量和變化頻度提供了衡量數據質量好壞的手段。數據度量主要包括完整性、唯一性、一致性、準確性、合法性。變化頻度主要包括業務系統數據的變化周期和實體數據的刷新周期。
4.2 技術因素
主要是指由于具體數據處理的各技術環節的異常造成的數據質量問題,它產生的直接原因是技術實現上的某種缺陷。數據質量問題的產生環節主要包括數據創建、數據獲取、數據傳輸、數據裝載、數據使用、數據維護等方面的內容。
4.3 流程因素
由于系統作業流程和人工操作流程設置不當造成的數據質量問題,主要來源于系統數據的創建流程、傳遞流程、裝載流程、使用流程、維護流程和稽核流程等各環節:
(1)創建流程質量問題主要指操作員數據錄入時缺乏審核流程;
(2)傳遞流程質量問題主要指通信流程溝通不暢;
(3)裝載流程質量問題主要指清洗流程缺乏/不當、調度流程邏輯錯誤、數據加載流程邏輯錯誤及數據轉換流程邏輯錯誤;
(4)使用流程質量問題主要指數據使用流程缺乏流程管理;
(5)維護流程質量問題主要指缺乏變更維護流程、缺乏錯誤數據維護流程、缺乏數據測試流程以及對人工后臺調整數據沒有嚴格的流程監控;
(6)稽核流程質量問題主要指缺乏數據錯誤反饋流程。
4.4 管理因素
由于人員素質及管理機制方面的原因造成的數據質量問題。如人員培訓、人員管理、培訓或者獎懲措施不當導致的管理缺失或者管理缺陷。
5.數據質量管理過程
數據質量管理(Data Quality Manage-ment),是指對數據從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發的各類數據質量問題,進行識別、度量、監控、預警等一系列管理活動,并通過改善和提高組織的管理水平使得數據質量獲得進一步提高。數據質量管理是循環管理過程,其終極目標是通過可靠的數據提升數據在使用中的價值,并最終為企業贏得經濟效益。
5.1 數據質量管理方法
數據質量管理借鑒六西格瑪管理方法,以事實為驅動,講信息和數據質量提高周期分為評估、認知、行動三個階段,每個階段開展相應的具體數據質量管理活動。如圖2所示:
(1)定義和商定問題、時機和目標,以指導整個數據質量管理的工作。
(2)收集、匯總、分析有關形式和信息環境。設計設計捕獲和評估的方案。
(3)按照數據質量維度對數據質量進行評估。
(4)使用各種技術評估劣質數據對業務產生的影響。
(5)確定影響數據質量的真實原因,并區分這些原因的影響的數據質量的級別。
(6)最終確定行動的建議,為數據質量改善制定方案,包括數據級和組織級的。
(7)建立數據錯誤預防方案,并改正當前數據問題。
(8)通過改進組織管理流程,最大限度控制由管理上的缺陷造成的數據質量問題。
(9)對數據和管理實施監控,維護已改善的效果。
(10)溝通貫穿管理始終,循環的評估組織管理流程,以確保數據質量改善的成果得到有效保持。
5.2 數據質量分析流程
在明確評估方法后,需要對數據開展分析工作,評估對業務的影響,主要通過以下5個步驟:
(1)識別需要審查的數據集合;
(2)按照業務用途對數據集歸類;
(3)利用分析工具對數據集進行經驗分析;
(4)列出所有潛在的異常之處;
(5)對于顯現出的數據缺陷,提交給數據專家進行處理并評估潛在的業務影響;
本質上,對數據集進行統計分析是為了評估:
(1)生成記錄的比例;
(2)數據值產生的每個屬性的數量;
(3)經常發生的值;
(4)潛在的極端值;
(5)同一個表內列之間的關系;
(6)表與表之間的關系;
5.2.1 數據質量規范定義
根據分析的結果,建立數據質量規范,對數據質量管控要求進行明確的約束,需要體現的內容包括:
(1)可測量性:規范要具有可測量性,在不同的業務范圍內,可以進行計量;
(2)業務相關性:要與業務期望相匹配;
(3)可接受性:數據的質量維度表達了業務的需求,對質量維度的測量提供了一個數據質量水平,應設定一個符合業務需求的質量水平基準,當低于這個基準時,應及時處理;
(4)責任分工:當數據質量不符合業務期望時,按照預定義的職責,應該有人對此負責采取處理措施;
(5)可控制性:恰當的數據質量測量維度應表達業務控制的要求,換句話說,當數據質量進入不良的范圍時,應觸發數據改進流程;
(6)跟蹤性:持續跟蹤數據的改善過程。
5.2.2 數據質量業務規則定義
在數據質量管控要求范圍內,參考數據質量維度,對數據集的每個數據項進行業務規則的定義:
(1)值范圍檢查:錄入的數值在枚舉值范圍內,如郵政編碼;
(2)定義一致性:在全流程中,保證數據的定義被一致性的理解;
(3)范圍規則:數據的屬性值應確保在一定范圍內(時間的、數字的、預定義的);
(4)格式符合度:為數據制定要遵循的模式,如電話號碼模式;
(5)匹配性檢查:某些數據屬性值必須與其他域內的某個值相匹配,如市與省之間的關系;
(6)值和記錄的完整性:不存在遺漏的屬性值;
(7)準確性確認:比較錄入和輸出的數據值,確認其準確性;
(8)唯一性確認:錄入的數據必須唯一;
(9)時間線確認:標識數據的可用和可訪問時間特征。
5.3 數據質量控制
數據的質量改進絕非一朝一夕的事情,而是一個持續的過程。在明確了數據質量的規則之后,需要制定一個數據問題整改提升的流程,通過不斷的改進流程,持續不斷地排除錯誤、對數據進行整合和標準化,最后達到流程的自動化,從而降低數據質量計劃的總體開銷。
數據質量控制還需要選擇和實施數據質量策略。目前的策略類型有兩種:在輸入數據時提高數據質量的方法稱為“上游”方法,而從系統提取數據的應用程序(如數據倉庫)中改善數據質量的方法是“下游”方法。事后制定流程優化持續改進即為“下游”方法,事前的數據錄入(“上游”方法)的質量預控更為重要。
上游策略研究當前應用程序的邏輯、數據和流程,解決檢查過程中發現的異常情況。此策略可能涉及到更改應用程序邏輯、添加更好的表驗證、改善與數據輸入相關的流程,它致力于數據的高準確性。
6.生產域設備數據質量看板
安全生產管理信息系統的核心主數據為設備,設備數據質量的好壞直接影響到整個生產管理信息系統的業務應用。故以生產設備數據作為數據質量看板的數據集,參考數據質量的核心要素和管理方法,對生產管理信息系統設備數據進行質量管控,促進生產業務的應用。
6.1 規則定義
以南方電網公司設備信息分類與編碼標準為基礎,按設備分類進行設備數據質量規則的定義,作為數據質量校驗、評估的依據。根據標準中的分類、基本信息和技術參數規范,選取必填的重要屬性,劃定屬性的數據類型、長度、業務規則、字段類型、編碼,并從完整性、規范性、唯一性等方面進行約束。
6.2 數據質量評估
在安全生產管理信息系統中按設備類別固化設備數據質量規則,形成數據質量規則庫,選定由下至上的數據質量評估方法,以數據質量規則為標準,對每類設備的每個數據進行檢查和校驗,挑出不符合規則的設備數據,形成問題數據記錄。結合數據質量管理目標,按數據問題類型、不符合規則項等維度統計異常數據量,導出統計數據,形成數據質量報告。
安全生產管理信息系統將設備按邏輯及物理方式劃分為功能位置、設備及部件三種類型,根據數據質量規則,自動對設備進行檢查和校驗,分別統計出功能位置的錯誤設備數據量、錯誤率,設備及部件按照變電一次、繼保、輸電、通信、自動化等專業進行匯總統計錯誤設備數據量、錯誤率,并能按照統計數量進行挖掘查看明細設備,能清楚知道設備屬性,因為什么原因產生錯誤,并能與業務規則進行比較查看,供各專業人員分析及糾錯。
6.3 質量改善
以數據質量看板中檢查發現的設備數據質量問題記錄為依據,分析認定為異常數據,則在安全生產管理信息系統中直接發起設備變更的管理流程,按數據質量的要求調整錯誤的設備信息。在問題記錄全部處理完畢后,再次執行數據質量規則的檢查與校驗,驗證錯誤數據是否得到糾正,形成PDCA的閉環管理,持續提升設備數據質量。
7.總結
數據質量作為影響決策正確性的基礎元素,已經成為南方電網公司一體化大潮下最具競爭力的工具之一。可靠的數據是企業最具價值的資產,在數據質量管理上所投入的資金和時間,將會在現在和未來得到高額的回報。目前在生產域設備數據看板上探索研究了數據質量管理的方法、規則,后續需要借鑒此經驗,在整個企業內部,建立科學有效的數據質量管理系統,對組織的數據質量實施全程、全域和全員管理,將數據質量管理以制度化、規范化的方式落實到數據生成、傳遞和使用的各個過程、方面和人員之中。
參考文獻
[1]南網生產域數據質量整治方案(部門發文).
[2]南方電網公司數據質量專項工程工作方案.
[3]數據中心數據接口單元-生產管理分冊.