時間：2023-05-29 17:44:26
開篇：寫作不僅是一種記錄，更是一種創造，它讓我們能夠捕捉那些稍縱即逝的靈感，將它們永久地定格在紙上。下面是小編精心整理的12篇數據管理，希望這些內容能成為您創作過程中的良師益友，陪伴您不斷探索和進步。
一次與交通行業某大客戶CIO的技術交流中，客戶的回答讓惠普的產品經理很驚訝。
那位CIO表示，廠商所說的系統性能、存儲備份恢復等內容盡管非常重要，但是還不是他日常最為關心的問題。讓他感到擔心的是不知道系統什么時候會出問題。因此，坐在CIO位置上，就仿佛是坐到了火藥桶上。
今年年初，惠普對中國160多家大型企業的關鍵業務數據管理進行了一次調研，他們發現，類似那位CIO的憂慮還是比較普遍的。
根據調研的結果，惠普高層決定引入一套“方法論”幫助用戶解決實際問題。今年6月，惠普正式推出了“適應性數據高可用管理”解決方案(Adaptive Data Availability Management, ADAM)。方案立足于客戶現有的數據環境，通過對企業數據管理環境的監控，惠普咨詢專家們可以對現狀進行調查評估，定位問題所在，量化問題嚴重程度，并分析問題背后的成因，進而提供對癥下藥的解決方案。
據記者了解，與企業定期的員工體檢相類似，ADAM將企業關鍵業務數據管理分為了IT治理、流程自動化、架構優化和平臺標準化等四個維度，總共有44個KPI(Key Performance Indicator，關鍵績效指標)，350個衡量點，其中包括數據和業務連續性規范和標準、責任人員的專業性和掌握的技能、運維管理流程、客戶數據恢復目標、客戶數據丟失程度等多項內容。
通過對這些指標的全面考量，有經驗的技術熱源就可以及時發現問題，并建立IT發展的參照計劃。
據了解，該解決方案建立在惠普IT成熟度模型(IT Maturity Model，ITMM)之上，它是一套全面衡量企業IT建設現狀與業務協同狀況的方法論。
惠普公司中國區副總裁兼企業計算及專業服務集團(TSG)全球IT科技服務部總經理潘家馳在接受記者采訪時表示，針對ADAM服務，惠普已經組建了一支涵蓋服務器、存儲、網絡、安全、數據中心基礎設施、系統管理等多個領域的專家咨詢團隊。
咨詢團隊將采用“請進來”和“走出去”想結合的策略，既要“坐堂聽診”，也要“巡回問診”，幫助中國行業企業用戶了解ADAM，及時發現關鍵業務系統所存在的各種隱患，全面評估數據管理IT環境中的各種因素，提升應用系統整體的高可用水平。
潘家馳表示，方案改變了以往頭疼醫頭，腳疼醫腳的思路。通過一次全面深入的“體檢”，提供對癥下藥的解決方案，改變企業信息系統的“亞健康”狀態。
他表示，如果數據管理長期處于“亞健康”狀態，問題被忽略或處理不當，必將成為影響運營的“定時炸彈”，對此，企業應該引起足夠的重視?；萜誂DAM解決方案可以幫助客戶通過主動化的手段，發現和識別數據管理中存在的潛在風險和隱患，提高關鍵數據的可用性水平和應用系統的連續運行能力，改善應用系統性能，適應不斷變換的業務環境，遵從國際標準和行業法規，滿足IT對業務部門的服務級別承諾。
鏈 接
美國“次貸危機”給全球金融帶來的影響正愈演愈烈，也影響著中國各行業的經濟秩序。面對此次的國際金融危機，中國IT產業的發展也面臨著巨大挑戰。從企業IT市場來看，受經濟危機的影響，中國經濟發展放緩使得市場需求開始減速，這在IT企業表現尤其明顯。IT企業除了面臨經濟寒冬的窘境外，還有―個迫在眉睫的問題需要解決，就是如何跟上數據增長的速度。
而從數據本身而言，企業需要考慮兩個問題，一是數據量的管理，還有就是數據資源的利用。數據量的規模不僅考量著企業自身的IT環境，跟企業的業務運營也是息息相關；而數據資源的利用更多的則反映出企業如何切實實踐“花小錢辦大事”的原則。尤其是在目前全球經濟普遍不景氣的態勢下，如何以有限的資金來實現數據量的管理和數據資源的充分利用，是決定企業能夠度過經濟寒冬的重要因素。
數據管理的病根
實際上，從數據量的管理來看，往往企業面臨的很多問題都是由數據快速增長而衍生的。未知數據的持續增長，意味著你的一切都會受其影響，包括你的文件系統、磁盤系統、網絡、保護計劃、進程甚至是你的生活都不例外。對此，我們只有四處購買更多容量以盡量滿足這個永無止境的增長，但往往徒勞無功。
數據增長是自然產生的(世界上新數據一直在不斷生成)，但大部分數據是由科學研究產生的。如數據擴展、副本、副本的副本、備份副本的副本、備份副本的副本的副本等等，這些不只是容量問題，而是和科學一樣復雜的問題。
正如ESG的創始人兼首席分析師所說，數據在處理的過程中，就好像細胞的有機分裂一樣，在不停地裂變。如，科學家利用細胞副本進行多種實驗來觀察會發生什么，而IT人員需要利用副本進行測試、填充數據庫、創建備份副本和災難恢復副本、發送副本給其他用戶等等。區別在于，科學家們預先就知道他們需要多少副本。因此，他們是有規劃的。他們無需將其遷移到一個新的皮氏培養皿中。而且實驗完成后，他們可扔掉副本，不用任其一直復制下去。而在IT行業中，企業很少清空皮氏培養皿。相反，在不斷創建新的副本的副本。IT進程很少有科學實驗室里的那種預先規劃，這種由于副本保留導致的數據增長，很大程度上，很多數據是毫無用處的。而且，企業絕大部分的問題都是由此而造成。而解決此問題的唯一辦法，就只是從供應商手中購買新一代更大的皮氏培養皿來應對。
如何掐斷數據增長的源頭
在這種情況下，采取什么樣的方式來進行數據管理，則是企業迫切需要的。如果能夠將數據的裂變在數據生成初期就使其得到遏制，將大量的重復數據刪除，從而達到高效管理數據的目的，則不失為明智之舉。
最初，重復數據刪除在次級存儲與備份存儲中得到了廣泛的應用，專門用于在減少需要備份的數據量、最大化存儲利用率的同時，使更多的備份數據在線保留更長時間。通常來講，重復數據刪除技術會將最新的備份數據與已有的之前的備份數據進行比對，從而消除冗余數據。這項技術的優勢在于數據的減少不僅使存儲的效率更高、成本更節約，帶寬的利用也降到最低，使更經濟、更快速的實現備份數據的遠程復制成為可能。
但是隨著技術的發展，以二級備份數據刪除為主已經開始向主存儲數據重復刪除演變，而這種發展趨勢將從根本上改變存儲的經濟狀況。在這種分級存儲的模式下應用重復數據刪除，可在數據整個生命周期內創造經濟和運營效益。
在主存儲下，不僅能夠大幅提高系統的容量利用率，還能夠降低大多數昂貴存儲層的資本支出，更進一步地提升存儲性能。而在二級存儲中，不僅大大減少數據備份的總量，還能夠在線保存更多的活動歸檔數據，降低通信成本。同時這種數據的分級存儲模式，實現了對數據的精簡配置，更是大幅提高了主存儲空間的利用率，也降低了管理成本的開支，確保了中小企業的良性運營。
數據管理的良方
而從數據資源的利用角度而言，隨著數據的飛速增長，企業的存儲越來越無法滿足需求，采用哪些手段能夠提高數據資源的利用率，來滿足企業日益增長的業務需求，是企業目前亟待考慮的問題。當前整個IT領域充斥著各種所謂的先進技術，無一例外的都宣稱，可給企業用戶帶來諸多好處等等。這些讓人眼花繚亂的各種術語、詮釋等，只會讓用戶感到無所適從。
但是企業面臨的存儲壓力，如降低成本、更高效、少花錢多辦事等，卻與日俱增，迫使企業必須采取某些措施來捍衛自己的存儲，進而保證企業運營的正常有序，并有所增長。而虛擬化恰好能夠幫助企業做到這一點。近幾年來，虛擬化技術在市場已經得到熱捧，客戶也都迫切地想了解其到底能夠帶來哪些好處，包括提高資源利用率、整合、提高業務連續性以及降低運營開支等。而且已經有很多廠商紛紛上馬，爭先恐后的推出各種虛擬化產品。而目前思科高調推出其虛擬數據中心，更是進一步驗證了虛擬化市場的競爭激烈，同時也說明了虛擬化確實是未來數據資源管理的方向所在。
內外兼修方為本
目前存儲虛擬化的各種版本如，主機實現虛擬，控制器實現虛擬，服務器實現虛擬，網關實現虛擬，歸結為一點，都是為了簡化用戶的管理，提高存儲的利用率。ESG的調查顯示，隨著數據的無休止增長，如何削減成本成為企業考慮的重點。幾乎40％的IT經理稱，削減業務總成本的內部壓力是影響其IT運營的首要問題，而虛擬化常被視為解決這個問題的靈丹妙藥。
在2009年這個困難的經濟時期，很顯然，精簡存儲讓人眼前一亮。精簡技術如精簡配置不僅能降低50％的數據總成本，還可以減少預期存儲成本，幫助企業削減電能和冷卻開支，并能提高其10倍的管理效率。
而另外一個IT發展趨勢，則是數據資源管理的外包。隨著技術的發展，在未來幾年中，用戶對數據保護技術的需求越來越大，要求也會越來越苛刻，對單一性能的產品將不甚感興趣。而對于中小企業，當業務發展速度不可預測時，在IT管理資源有限的情況下，可考慮外包存儲服務，或者一部分二級存儲使用外包存儲服務。如將最基本而成熟的業務，如硬件維護、呼叫中心等外包給專業IT服務公司，將做完需求分析后的軟件開發外包給專業的軟件公司，IT部門仍保留對內部應用系統的管理與控制、IT規劃、IT產品采購等業務。
而IT外包服務也是未來信息化發展的大勢所趨，總的說來，IT外包應堅持三條基本原則：一，需求抽象而又總體需求量不大的IT業務，本身也處于企業可控范圍內，還是企業自己把握較好，凡是通用技術、產品，如OA系統、財務軟件開發、服務器維修等，可考慮外包。二、需求量比較大且穩定的業務，可考慮外包。三、要求響應時間在可允許范圍內的業務，盡量外包，而對那些雖然技術含量不高，但要求響應時間極快的業務，盡量不外包。
隨著科技的發展，社會的進步，尤其是計算機通信技術的發展，人們對數據庫的共享性要求日益明顯，當前數據庫的管理和訪問充滿了復雜性，如何解決這一問題成為了管理者和用戶最為關心，最為頭疼的問題。例如，非數據庫的建設者和維護者，都需要知道數據庫當中的全部內容，以此來避免數據的重復錄入，從而更好的使用數據。根據用戶的需求用戶需要知道數據信息的質量，用戶也需要知道數據庫的數據結構和句存儲格式，來滿足用戶的信息數據交換和利用。在這種情況下數據的內容、品質等元數據的信息就變得十分重要了，它是信息數據有效管理和利用的重要方式，元數據的重要性正在得到用戶和數據庫的建設者的證明。由于現在數據庫的使用對象越來越專業化、復雜化，他們對數據集的元數據內容以及各式會存在相當大的差別，對數據的共享性影響很大，為了制定一套元數據的標準，需要采用同樣的各式對數據集進行描述。
2元數據的定義和形成
元數據又叫做描述數據，是臺灣學者通過英文翻譯過來的（英文為Metadata），現在我國對該術語還沒有形成統一的認識。國際標準化組織地理信息、地球空間信息技術委員會的地理信息元數據標準草案將元數據簡單的定義為“數據的數據”。美國聯邦地理數據委員會在數字地理空間元數據內容標準中將元數據定義為“關于數據的內容、質量、條件和其他性質的數據”。國際地球科學信息網絡學會對元數據定義為“關于數據和信息資源的描述信息，他們描述、指向或者補充與之相關的信息內容”。元數據的定義和專業術語出現的時間雖然不長，但是元數據的本質內涵確實流傳了很久。舉一個簡單的例子，在很早以前的圖書管理當中，管理人員對書籍目錄的編寫，記載了書籍的各種相信內容，包括作者、寫作時間、頁數和字數等，這種對書籍信息的記錄就可以理解為元數據。只不過在以前涉及到的數據不是特別復雜，只是到了現代隨著網絡技術的普及，數字資源呈現出爆炸性增長的速度，人們為了便于統計這些數字信息不得不將以前的文本化數據向網絡表格化數據方面進行轉變。從上世紀八十年代開始出現元數據的記錄方式，到現在元數據的應用已經擴展到了各個行業。
3元數據標準內容分析
根據元數據的使用目的不同可以將元數據大體分為兩類，即：管理和組織數據的元數據；瀏覽和導航數據的元數據。第一種類型的元數據的代表就是美國nasa描述遙感數據的目錄交換格式標準（DIF），這一標準有一個典型的特征就是必備六個字段：登錄目錄標識、登錄目錄的名稱、參數、原數據中心（包含名字、數據集標識、聯系人等）和數據概要描述。另外，為了讓信息表達的更加明確，這一標準當中還要增加字段，如傳感器的名字、位置、數據分析、計劃口令、品質等，增加這些字段可以提高用戶的使用效率，盡可能的完善元數據。第二種元數據的代表就是澳大利亞新西蘭土地信息委員會制定的元數據標準。這一標準確立的核心元素較少，能夠讓用戶在最短的時間內查詢到所需要的數據信息。核心元素能夠說明現有數據的種類、數據信息、數據范圍、與其他應用的作用，以及獲取更多信息的位置等。核心元數據共分為九類三十二個元素：數據集中、展示、數據時間、數據狀況、訪問和瀏覽情況、數據品質、聯系信息、元數據時間、元數據附加內容。除此之外，核心元數據還要制定了數據格式，使用指南，以方便用戶查找信息。
4元數據表達方式的分析
美國聯邦地理數據委員會的數字化地理空間元數據內容標準元數據信息單元是元素、實體（包括復合實體）和字集。元素是元數據的基本信息單位，元數據實體由元數據元素組成，元數據實體、元素則構成復合實體，最終部分元素、簡單或者復合元數據實體組成元數據子集，元數據的組成結構從小到大排列為，元素、實體（復合實體）、子集。元數據是利用巴克斯諾爾范式進行表達的，巴克諾斯爾范式可以定義常規語言元素和屬性標準語法，在確定復合實體和其他元素、實體間的聯系的時候，采用類似于數學等式的關系將標識符和表達式用等號連接起來，以此來表表達式產生標識符這一進化關系。這一規則公式代表了各種符合的意義，從數學角度可以解釋為，A=B+(C)表示A由B和可選項C構成，A=3{B}5表示A由B重復3到5次而成，子集、實體、元素之間的關系可以用元素比實體進一格的辦法來表達，美國的數字化地理空間元數據內容標準利用這種方式可以清晰的表達數據實體和元素之間的各種關系，但是它也只是包含了標準化當中元數據和元素的定義，并沒有規定數據的格式，有時候用元數據元素分層縮排來表示，有時候用編號系統表示，這就使得元數據使用起來并不簡潔。為了解決這一問題，建立了空間數據信息交換網絡，利用比較統一的SGML、Z39.50和其他協議來表示，可以更加靈活的執行元數據。ISO/TC211的元數據標準利用了圖表和數據字典相融合的表達方式，清晰的表示了元數據內容之間的各種關系。數據字典可以詳細的解釋元數據的內涵，圖表則是面向對象的統一建模語言UML靜態結構圖、ISO借口定義語言，在圖表當中信息單位是包、類和屬性。數據字典當中元數據的信息單元是子集、實體以及元素，這一標準說明了圖表和字典當中的對應關系。因為靜態結構圖準確的解釋了元數據的語義和句法結構規則，制定了標準的描述數據信息的方法和格式，通過輔助設計軟件可以精確的表達數據元素關系，檢查元數據設計的整體性和統一性，所以ISO/TC211的元數據表達方式對全世界各個行業的數據管理和服務產生了重要的影響。
5元數據網絡管理模型分析
當下比較流行的元數據管理系統模式可以分為：集中式數據管理體系和分散式數據管理體系。集中式數據管理體系就是所有的元數據都聚集在一個元數據管理站點上，數據集元數據是通過數據制造者免費上傳的，數據的使用者可以通過當下的數據管理站來進行訪問好查詢元數據。這一模式比較有代表性的就是英國地理數描述目錄，這一機構的數據來源于國家制圖機構。這種模式的優點就是使用者可以迅速的查找元數據，工作效率很高，當然缺點也很明顯，就是這一模式分裂了這一管理系統和其他網絡元數據體系的鏈接，導致這一體系的元數據數目較少，在數據信息的更新和維護方面就取決于元數據的上傳者，元數據信息不能及時的更新，提供的數據有可能出現錯誤。分布式元數據管理體系就是要設立一個元數據網絡交換的核心連接點，使用者可以在這一連接點進行元數據的查詢，而對于元數據的供給者和元數據的數據制造者，則需要設立分節點，保存各種元數據的信息，然后將核心連接點和分節點聯系起來。元數據的使用者不能直接訪問數據的制造者，只能通過核心連接點來訪問數據信息，進行元數據的查詢。這一模式的代表性機構就是美國空間數據交換網絡，它將用戶、服務器內容、數據庫服務器進行了分離。通過網關根據數據信息的類型、數據信息覆蓋位置等條件構成元數據的查詢界面，用戶通過網絡進行查詢，核心連接點通過用戶信息向分節點進行傳輸，然后在將內容反饋到用戶瀏覽的頁面當中。這種模式的優點在于能夠增加元數據的數量，減少核心連接點對元數據的更新負擔，缺點在于元數據的查詢速度較慢，影響使用者的查詢效率。
6元數據傳輸各式的統一
雖然當前已經制定了一些元數據的標準，但也只是確定了元數據的內容、含義、類別、組成結構等特征，但是這還不能滿足元數據的使用要求，制訂元數據標準的目的是為了元數據的查找和檢索，了解數據信息和內容，因此必須要注重元數據的傳輸標準，以此為基礎來設計元數據的管理體系，從而達到對元數據的搜尋、修改、更新維護和查詢檢索。在DOS環境下和ARC/INFO環境下，美國誕生了很多元數據錄入和編輯的軟件，澳大利亞也開發類似的軟件，這些元數據軟件都是為了便于自身的查詢需求，符合各自制定的元數據標準的。但是各個元數據錄入軟件的數據格式卻不相同，有的是文本格式，有的是HTML格式，還有的是關系型數據庫格式，雖然方便了用戶，但是在元數據的修改和維護方面成本很高，所以要制定統一的元數據轉化標準，方便網絡上的元數據交換。美國和澳大利亞建議更改統一的后綴格式，例如，將SGML/HTML的統一轉換成XMLDTD或者是XMLSchema，將表格改編成ASCII的格式。這種方式優點在于有利于建設元數據索引和能夠在不同地區的互聯網當中進行元數據的查詢。
7元數據管理平臺設計和實現
7.1功能流程設計
功能流程設計需要滿足元數據生命周期的要求，當前大多數公司單位都是分散式的數據管理體系，數據比較分散，需要采集多元數據并且簡化數據的存儲體系?？梢詫SV（三層階梯式圖）引用到元數據管理體系當中，在元數據導入配置方面，可以利用懸掛點配置的方式，在任務采集的起始階段可以配置相應的懸掛點（類似分支點），建設元數據的查詢樹，在數據源配置方面要表明數據源的類型、銜接數據、賬戶情況等，還要進行測試觀察后續問題。為了更好的完善元數據的管理體系，保持元數據地圖的完整性，需要對元數據進行完備的采集，采集方式又分為手動采集和自動采集。手動采集是對用戶要求的數據庫進行單次采集，自動采集則額外的配置采集時間和采集周期。
7.2元數據的瀏覽
將配置好的懸掛點體現在元數據的樹狀結構當中，以形象的結果提供給用戶，基于TSV的思想元數據樹需要具有三層以上的結構，首先是系統，其次是各系統數據庫，再者是各數據庫的下屬表。在庫級元數據方面需要展示各個表名和創立的時間，在表級元數據方面需要雙擊查看該表的詳細信息，包括字段、約束、索引、鍵、視圖等，在下拉菜單當中可以檢索相應的元數據信息。在字段級元數據方面包括字段名、字段類型、字段解釋、所屬的表和庫，前三項屬于特點描述，后兩項是定義描述，這樣能夠方便對字段進行分析和定位。
7.3元數據的構架設計
元數據管理體系的技術構架主要是對所有信息數據的篩選，來確定那些信息可以納入元數據管理體系，以此來構建三級視圖。技術構架的信息主要包括五個方面，即：數據源層、數據收集層、數據保存和管理層、應用幫助層、登錄管理和用戶信息等。數據源層主要就是提供數據信息，數據收集層主要是理清各類數據關系方便元數據的管理。
關鍵詞: 交通管理數據挖掘平臺
中圖分類號： N37文獻標識碼：A
一、引言
目前公安交通機關為方便交通管理業務的開展，創建了四個基本數據庫：道路交通事故信息數據庫、駕駛員(即駕駛證)管理信息數據庫、交通違法行為信息數據庫、車輛登記管理信息數據庫，當前交通管理部門的應用系統、平臺均以此四個基本數據庫為基礎獲取各類信息。數據庫自創建以來經過幾十年數據的存儲，已積累了海量的交通相關數據，隨著車輛和駕駛人增多以及相關業務的復雜化，數據更是成爆發式增長。這些數據已成為交通部門的重要的數據財富。
然而面對大量數據，顯然已不能再滿足于只是簡單地查詢和修改數據，而是進一步希望能夠發現數據之間的潛在關系，并隨著現實中交通管理中“人、車、路、環境”和諧發展的迫切期望以及緩解交通堵塞、預防交通事故的職責所在，交通管理部門急切地希望通過快速處理這些數據獲得進一步有利于科學管理的決策依據。特別是以往的交通管理規律常常不是基于數據庫中信息豐富的數據，而是基于決策者的直覺，因為決策者缺乏從海量數據中提取有價值知識的工具，即使當前的專家系統技術，通常這種系統依賴于用戶或交通管理領域專家人工地將知識輸入知識庫，因此這一過程可能會產生偏差和錯誤，并且耗時、費用也高。如何才能對大量數據進行分析，發現數據之間的潛在聯系，為交通管理提供自動決策支持呢，運用數據挖掘技術從交通管理數據庫中尋找知識發現給交通管理部門帶來了希望。
在這些海量交通數據中存在著大量的有著潛在關聯和規則的數據，因此將數據挖掘技術中的關聯規則算法應用在交通領域，通過關聯規則挖掘發現交通數據之間的潛在關系，為交通管理提供自動決策支持有著重要的意義。本文設計了一個交通管理數據挖掘平臺方案，并對平臺架構和挖掘流程進行了詳細分析和討論。
二、交通管理數據挖掘平臺架構
在交通數據庫中，所涉及的違章信息、駕駛員信息、機動車信息比較繁瑣。交通數據的特點是：交通數據庫的核心業務表較多、表的定義復雜、表中的數據量大、表數據的實時更新速度快。數據間的潛在關系和規則未被發現和利用，目前的處理還是停留在見到的統計報表，沒有智能性的分析處理。這些交通的原始數據對于交通管理決策支持有限，需要設計一個基于數據挖掘的交通管理數據挖掘平臺對交通數據進行有效的挖掘和分析，對交通決策提供有力的支持。圖1給出了我們所設計的交通管理數據挖掘平臺框架，該平臺主要由三部分組成：數據倉庫模塊、數據分析處理模塊和接口與會話管理模塊。
1、數據倉庫。在輔助決策方面，數據倉庫能為其提供高質量、純凈、集成的數據，從而極大地提高決策支持系統的性能與信息分析能力，因此，數據倉庫業已成為進行數據分析與挖掘的基礎平臺。構建交通信息數據倉庫是本系統結構的核心，其實現形式包括：數據采集與ECTL（數據抽取、轉換和裝載）、數據倉庫管理系統、元數據管理系統三部分。本系統采取星型模型建模，其中，主題是其基本組成單位，每個主題由多個事實表和維表組成，而一個事實表可以關聯多個維表，構成一個以事實表為中心的星型結構，多個星型結構共同組成一個主題。在建模過程中，考慮到智能交通領域涵蓋范圍廣泛，要求數據倉庫具有很強的可伸縮性：既可以集成智能交通領域交通流采集系統、信號控制系統、電視監控系統、違章取證系統、公路車輛監測系統、122接處警系統、GPS車輛定位系統、可變情報板顯示系統等各個應用系統提供的交通信息，又可以針對特定應用系統。
圖1 交通管理數據挖掘平臺框架
2、數據分析處理模塊。在數據倉庫基礎上直接采用的智能化分析技術主要有：聯機分析處理、數據挖掘和知識發現技術。聯機分析技術的主要功能是進行多維數據分析和生成報表，專門用于支持復雜的分析操作，側重對高層管理人員和決策人員的決策支持，可以應分析人員要求快速、靈活地進行大數據量的復雜查詢處理，并且以一種直觀易懂的形式將查詢結果提供給決策人員。本模型將數據倉庫中建立的多維邏輯視圖直接映射到數據立方體結構上，以方便對預計算產生的數據進行快速索引，當數據集稀疏時，采用稀疏矩陣壓縮技術提高存儲效率。通過對數據立方體(DataCube)進行下鉆(Drill-down)、上卷(Roll-up)、切分(SliceandDice)以及旋轉(Pivot)等操作，實現不同角度、不同層次的數據分析，例如：對交通負荷時空分布信息運用聯機分析技術處理，通過切片、切塊、旋轉細剖低級別的詳細數據和統攬較高級別的概括性數據，快速地響應查詢。數據挖掘與知識發現技術是從海量數據中抽取隱含的、潛在的有用知識的過程。許多專家學者傾向于把數據挖掘視為知識發現過程中的一個步驟，在本系統模型中，為強調這兩種技術各自特點和側重點的差異，將它們分別列出。知識發現的基本步驟為：第一步，數據的準備；第二步，數據挖掘；第三步模式評估；如果評價人員不滿意，重復執行上述步驟，否則，轉下一步；第四步，知識表示。
3、接口與會話管理模塊。該模塊通過可視化技術，提供易于被用戶理解和使用的，具有智能糾錯、自我學習的界面系統，并提供自然語言和人類思維方式與計算機之間進行轉換的功能。當系統在產生相應的決策后，該模塊可以按照有關智能交通應用子系統的指令格式生成相應的指令供決策者直接調用。
三、交通管理數據的挖掘流程
交通數據挖掘的過程大致上可分為五層：底層為交通管理數據庫，包括違章信息庫、駕駛員信息庫、機動車信息庫等等，在這些庫里存在許多交通信息，直接對這些數據進行挖掘是不現實和不可取的，因此，構建了上一層主要是數據預處理層，這一層是對交通數據庫進行適當的有選擇的篩選和處理，將少量主題相關和用戶感興趣的數據提取出來組成二維表，然后在此基礎上得到第三層概化后的數據，在這一層上我們可以利用這些概化的數據構建我們的數據倉庫。對交通數據的具體挖掘就是在這一層上進行的，最上面兩層是知識發現的過程，通過具體挖掘之后的得出的模式和分析后找到對于交通決策有效的模式。圖2給出了交通管理數據的挖掘過程。
圖2 交通數據挖掘流程圖
參考文獻
[1] 朱建秋,數據挖掘平臺及其關鍵技術研究[D],上海:復旦大學博士學位論文,2002.5.
關鍵詞信息技術；主數據；管理系統；應用實踐
隨著企業信息技術的飛速發展，迎來了互聯網+和大數據時代。在享受信息技術為企業帶來好處的同時，企業的數據量也在急劇膨脹，數據是企業管理的基礎信息，而實施企業資源計劃（EnterpriseResourcePlanning，簡稱ERP）、產品數據管理（ProductDataManagement，簡稱PDM）、制造執行系統（ManufacturingExecutionSystem，簡稱MES）等信息系統，主要的問題就是數據管理。主數據管理的核心是數據的標準化，而其主體則是主數據［1］。數據可分為基礎數據和業務數據，基礎數據包括物料、客戶、供應商、價格、采購信息記錄、物料清單（BillofMaterials，簡稱BOM）、貨源清單、工藝路線、配額、檢驗計劃等主數據。而業務數據是企業運行當中所發生的動態數據，如采購訂單、生產訂單、銷售訂單、派工單等，是由業務人員根據業務的需要建立的數據，是實時的數據。基礎數據是靜態數據，它為業務數據的建立提供基礎信息，是各種信息系統運行的保障。在基礎數據中，物料主數據是采購、生產、銷售、財務等多個部門的數據基礎，它與價格、采購信息記錄、BOM、貨源清單、工藝路線、檢驗計劃等主數據相關聯（見圖1），是各種主數據的檢索依據，物料主數據數據量大，單獨管理起來困難。因此，建立統一主數據管理體系對企業基礎數據的管理具有非常重要的意義。主數據管理系統的開發可以有效地對主數據編碼進行統一管理，迅速提高產品數據的維護效率，保障并推動主數據管理的順利實施。以中國石油集團濟柴動力總廠（簡稱濟柴）主數據管理系統為例，詳細介紹編碼原則、功能范圍、功能實現等方面內容，討論主數據管理系統在企業中實施與應用。
1制定主數據編碼管理的原則
主數據編碼是唯一標識主數據的代碼，通常用字符串（定長或不定長）或數字表示。主數據編碼也是計算機系統對物料的唯一識別代碼，類似每個公民的身份證號［2］。它用一組代碼來代表一種主數據。主數據編碼必須是唯一的，以物料編碼為例，一種物料不能有多個物料編碼，一個物料編碼不能有多種物料，如不能保證物料的一致性，隨著數據的不斷增加，“一物多碼”現象日趨嚴重，造成PDM、ERP、MES等系統信息的重復和堆積，將影響各信息系統之間作用的發揮，甚至導致信息系統實施的失敗。企業不斷地在發展，隨著規模的擴大，產品的增加，其物料也會隨之迅猛的增加，物料編碼規則一旦制定就必須具有相對的穩定性，一般需要保證系統運行十年以上，所以主數據編碼系統管理要堅持的原則為：1）唯一性：物料編碼的唯一性，就是一物一碼。同一物料在系統中只有一個名稱，不能不同部門對同一物料有不同的名稱。在主數據編碼系統中，針對產品的圖號、物料描述等進行排重（排除重復），如同一產品分不同的采購類型，又可以分成采購件、自制件，分別給碼，確保了物料編碼在系統中的唯一性。2）穩定性：企業不斷發展，規模擴大，產品的增加，其物料也會隨之迅猛的增加，物料編碼規則一旦制定就必須具有相對的穩定性，一般需要保證系統運行十年以上，因為在各信息系統運行過程中，重新進行編碼規則的調整存在極大的系統風險。3）實用性：主數據編碼的制定以實用為宗旨，采用計算機自動生成的流水碼，以“7”開頭的9位編碼，如“700000001”，簡單、易用可擴展性強。4）準確性：提高物料數據的準確性，物料的領用、發放、請購、跟催、盤點、儲存、保管、記賬等一切物料管理事務性的工作均通過物料代碼查核，物料管理較容易，準確率高，不會發生物料名稱混亂的情況。
2主數據管理的功能范圍
主數據編碼管理涉及企業的技術、采購、生產、銷售、財務等多個部門。主要功能為：1）任務提醒和共享數據管理：使運維人員及時了解最新的應該完成的任務，并實現共享信息的及時等管理。2）任務流程管理：運維人員的各種任務查詢及執行，包括任務流程的建立、待辦任務、經辦任務、急需完成任務的查詢及執行、未執行任務的關閉等。3）主數據運維管理：主數據運維系統主要管理五大類主數據，即物資編碼（簡稱Z050）、主產品編碼（簡稱Z051）、企業零配件級自有物料（簡稱5703）、客戶、供應商。這五大類主數據要實現編碼申請、編碼反饋、視圖收集、視圖反饋等各任務流程的創建、查詢。4）系統設置：實現任務流程的維護及對各運維人員的權限的設置。
3主數據管理的實現
主數據管理系統的各類主數據維護包括編碼申請、反饋及各種視圖的收集、接收、導入系統等業務流程的管理，見圖2。
3.1編碼申請管理
編碼申請管理主要是處理Z050、Z051、5703、客戶、供應商這五大類主數據的編碼申請業務，主要包括編碼申請編輯、編碼申請管理等功能。編碼申請人員在系統中的編碼申請編輯里按照申請模版填寫申請文件，并發送到主數據管理系統負責人，負責人在中國石油天然氣集團公司（簡稱集團公司）MDM平臺（MasterDataManagement主數據管理平臺）申請到編碼，反饋后發送給申請人，其中Z050、Z051、客戶、供應商主數據編碼由運維人員通過主數據管理平臺提交到集團公司MDM平臺，由集團公司下發編碼，5703由主數據管理系統自動生成編碼。在編碼申請管理功能中，通過指定時間段、年度、季度、月度內查詢編碼申請文件，查看編碼申請的狀態。編碼申請管理還提供編輯修改，指定的單據發起、審批、退回任務，并逐級進行審批等功能。
3.2視圖收集管理
視圖收集主要是為了各業務部門能夠使用各種主數據，把主數據維護到相應的視圖下，主要包括采購視圖、會計視圖、物料需求計劃（MaterialRequirementPlanning，簡稱MRP）視圖、銷售視圖、質量視圖，客戶和供應商主數據視圖還需要收集濟柴下屬個公司視圖等，視圖收集管理分兩種情況，一種是通過編碼申請文件自動下達形成視圖收集文件，另一種是通過編輯手工增加的視圖收集文件。視圖收集管理也提供了發起、審批、打回視圖收集文件，查看視圖收集流程審批任務等功能。
編碼器管理主要是針對5703類型的編碼處理，在5703編碼器內按照指定的編碼規則形成5703類型的編碼，形成編碼后在5703編碼器處看不到5703申請文件的記錄，而在5703編碼器管理功能可以看到并進行管理?？梢圆榭?、編輯5703編碼器內形成的編碼，同步5703申請文件內的編碼，形成5703的編碼反饋文件。形成編碼反饋文件后可以在編碼反饋管理進行管理5703編碼器形成的反饋文件。5703是針對企業產品零部件的主數據，它指企業主產品上的零部件，如曲軸、連桿等。5703編碼的申請流程是由各相關單位5703物料編碼申請人按申請模版填寫申請文件，發送到主數據管理系統5703負責人，主數據管理系統5703負責人接到申請，在系統中產生編碼，反饋后發送給申請人，同時要將該反饋文件整理成視圖收集文件。其中，外購件發送給采購、會計、生產、銷售、質量部門視圖負責人，收集采購視圖、會計視圖、物料需求計劃視圖、銷售視圖、質量視圖。自制件發送給會計、生產、銷售、質量部門視圖負責人，收集會計視圖、MRP視圖、銷售視圖、質量視圖。視圖信息到位后，運維人員整理成導入文件，導入到信息系統中，該物料的使用部門就可以開始這些物料的各業務操作。
4主數據編碼與各信息系統的集成
主數據管理系統可以為PDM、ERP、MES等各種信息系統數據集成提供前提條件。一般它們的數據的傳遞方式分為兩種，一種是從PDM系統到ERP系統再到MES系統，即在數據由上而下的流轉過程中，上游為下游提供數據，逐級傳遞，保證數據的統一性；另一種方式是以ERP系統為主要數據源，其他信息系統從ERP中讀取物料編碼，通過主數據管理系統，生成各種主數據視圖，再把各種視圖導入到ERP系統中去，使其他系統獲取編碼。濟柴采取的是第二種方式，在主數據管理系統中生成新的物料編碼，然后把編碼通過系統自動分發到各個業務部門收集基礎數據的視圖，如會計、生產、銷售、采購等視圖，視圖收集上來通過系統形成視圖導入模板再導入到ERP系統中，形成各種可用數據，PDM、MES等信息系統通過與ERP系統集成的接口獲取所需數據。通過系統集成實現了主數據的統一管理。
5濟柴主數據管理系統的應用效果
濟柴主數據管理系統是自行開發輔的編碼系統，采用PowerBuilder9.0（快速可視化面向對象的開發工具）作為開發平臺，Oracle10（關系數據庫管理系統）作為數據庫管理系統，它具有良好的兼容性、真正的可編譯性和較強的安全性，開發靈活，效率高，界面友好。主數據管理系統具有易用性的特點，它定位為輔工具軟件，界面精簡、方便操作，可以減少手工重復操作，提高工作效率。經過一段時間的運行，產生的效果為：1）縮短編碼申請周期：原來的編碼申請是由MDM負責人統一分配編碼，申請周期長，不能滿足企業的生產要求；濟柴自行開發的主數據編碼申請平臺可由核心運維組自行控制，申請周期大大縮短。2）降低編碼重復率：原來負責分配編碼的MDM負責人對企業產品不十分了解，編碼的排重工作做得不夠到位；濟柴自行開發的主數據編碼申請平臺特別增加編碼的排重程序，該程序從濟柴的實際出發，使編碼的重復率大大降低。3）提高新編碼數據維護效率：原來新編碼反饋后，完全由人工通過復制、粘貼對各相關視圖數據進行收集、轉換和導入；濟柴自行開發的主數據編碼申請平臺特別增加各視圖數據的自動生成程序，對當天的新編碼自動處理，大大提高了數據維護的效率。
6結束語
通過對主數據進行系統化的規范和管理，濟柴建立起了一套完整的企業數據管理體系，為業務的運作提供強有力的支撐。主數據管理系統的正式運行克服了以前編碼管理的各項弊端，大大提高了產品數據管理的效率，降低物料編碼的重復，縮短物料編碼申請的周期，提高新編碼的相關數據維護的效率，將企業內各種數據資源進行整合，實現了數據的集中化管理，提高了企業數據維護的效率，保障了企業生產的正常運行，為企業節省了大量的人力及物力去管理物料，使企業的管理水平邁上新的臺階。
參考文獻：
[1]和軼東,張怡,曹乃剛.SAPMDM主數據管理[M].北京:清華大學出版社,2013:1-3.
1云計算簡介
1.1概念
云計算是通過將大量計算分布到分布式計算機上，實現虛擬化的計算機網絡系統，使得數據的計算運行與互聯網類似，能夠按照需求訪問資源和系統。但是云計算并非通過本地計算機或遠程服務器進行計算，而是像計算機網絡內部一樣實現分布式處理計算，這種方式就好像電廠集中供電模式，將低成本的運算單元組織在一起，能夠大幅度提升計算能力和數據處理能力。云計算的這種計算模式對用戶完全透明，用戶只需要向系統提交自己的要求，云計算軟件和平臺會自動進行處理，用戶不需要了解云計算的具體方法就能夠實現快速、高效的大數據處理。
1.2結構
云計算是借助虛擬技術，將大量分布服務器上的資源整合起來，然后根據用戶需求進行分配和處理，是一個虛擬的、龐大的計算機網絡輔助系統。因此其體系結構也十分復雜，可以大體上分為用戶、服務要求、管理系統和服務器集合等四個部分。用戶提出服務要求，然后由管理系統向服務器集群發出請求并整合和接收反饋，然后以一個完整的形式將結果反饋給用戶，形成一個完整的虛擬計算機網絡處理結構。
1.3特點
云計算具有虛擬、高效、資源共享度高等基本特點，同時，目前由于云計算技術還沒有完全成熟，大部分企業和個人使用云計算技術需要付費。云計算是一種虛擬概念的計算，也就是說其計算過程并不是通過實際的物理方式實現的，因此不僅能夠實現大量數據的運算，也能夠提高資源之間的共享度，同時這種分布式處理方式也更大地保證了數據的保密性和安全性。重要數據大量分布在所有分布式終端中，不能簡單地從一臺終端中提取，提高了數據的保密性，并且如果某臺終端處理機出現問題，也不會影響其他終端，極大地提高了數據的安全性，使得大量數據的保存管理成為可能。
2云數據管理技術類型簡介
云計算是對海量的、分布性的數據進行計算處理，因此對于數據的管理要求很高，采用的數據管理技術必須能夠高效地管理海量數據，于是云數據管理技術也隨著云計算的廣泛應用而出現，并且目前已經成為眾多企業和研究機構研究的重要課題。目前已經存在了許多不同的云數據管理技術，這些云數據管理技術各有特點，但是都以不同的方式實現了對海量數據的有效管理。
2.1GFS技術
GFS技術即谷歌文件系統，是一種為谷歌云計算技術提供數據管理的系統。在這種技術中，所有資源文件以一種庫文件的形式存在，并且有系統提供給用戶一個專用的程序訪問接口，用戶提出請求后，由一個邏輯上唯一的管理者對整個庫文件進行調度和統籌管理。這種文件系統管理技術不僅能夠為谷歌云計算提供海量數據的存儲管理，同時也可以進行云計算，滿足各種用戶要求，目前GFS技術已經成為云數據管理技術的主要技術之一，并且得到了非常廣泛的應用。2.2BigTable技術BigTable技術也是谷歌開發的一種數據管理技術，這種技術是建立在谷歌文件系統的基礎之上，通過將大量數據組織在一張虛擬的表格中進行管理。這種技術將云數據組織在一張巨大的表格中，從而實現數據的結構化管理。在使用時能夠根據要求更加快速地進行數據查找和處理，合理進行資源的分配。這種方式比起文件系統更能夠實現數據的架構化，對于結構化云數據的管理會產生更好的效果，取得更高的管理效率。
2.3Dynamo技術
Dynamo技術是一種分布式存儲系統，具有數據庫和分布式Hash表的特征，以分布式Hash表作為基本存儲結構和理念，實現數據在環中的均勻存儲形式。這種技術的主要特點是提供了三個參數：N、R、W，技術規定，有N個副本，如果有R個讀取一致就可以認為是讀取成功，如果有W個寫入成功就認為是寫入成功，即系統不要求N個全部讀取或寫入成功，只要能夠保證R+W大于N，就能夠確保數據的一致性，這種技術增加了數據讀取的復雜性，但是降低了數據寫入的復雜程度，實現了更加高速的存儲管理。
3云數據管理技術特點分析
3.1提供可靠的數據存儲管理
云數據管理技術盡管各有特點，但總體都采用了分布式存儲管理的思想。這種數據存儲管理方式能夠為企業提供海量數據的存儲管理，同時能夠極大地提高數據的保密性和安全性。同時，云數據管理技術一般都具有較高的容錯性，大量分布式服務器的支持也可以實現對數據的錯誤分析和報告，避免因失誤產生的數據錯誤。云數據管理技術最大限度地降低了人為管理因素對數據管理的影響，從而更好地提升了數據管理的可靠性。
3.2實現數據的并行處理和分析
云數據管理技術是將數據進行分布式處理，盡管在邏輯上看來許多云數據管理技術是將數據整合到了一個統一的機構中，但事實上數據是分布存儲在大量分布式服務器上，在對數據進行處理時，就可以按照用戶的要求從各個服務器中調取數據。在這種技術支持下，就能夠有效實現數據的并行處理，系統根據用戶要求自動檢索分析用戶需求，迅速縮小范圍，鎖定用戶關鍵詞，迅速對用戶命令做出處理和反饋。同時，多個用戶如果提出同一要求，也能夠迅速通過這種管理技術實現信息共享，將同樣的信息返回不同的用戶終端。云數據管理技術還能夠根據用戶提供的關鍵字對數據進行初步篩選和分析，節省用戶的分析時間，對于需要進行大量數據分析的企業來說可以極大地提高工作效率。這種強大的數據提供和分析處理能力正是云數據管理技術得到廣泛研究和應用的主要原因之一。
4云計算和云數據管理前景展望
4.1云計算技術發展前景
云計算技術目前正處于快速發展階段，不論是個人、企業還是國家都十分重視云計算技術的研究和創新。同時，隨著更多的“云”概念的提出，云計算也被賦予了更多的功能和含義，大數據等概念的提出也為云計算帶來了新的發展方向。國際社會已經有越來越多的專家學者研究出了更多創新的云計算技術，并且提出了概念含義更加廣泛的云計算概念。國內對于云計算的研究也正日益火熱，科研機構也在進行新技術的研究，國內個人和企業也逐漸了解了云計算的概念和特點，并且有更多的企業單位開始運用和研究云計算技術?？梢哉f，云計算技術發展前景大好，并且很可能會成為未來一段時間內計算機研究和應用的重點方向。
4.2云數據管理技術的發展
伴隨著云計算概念和技術的更新，云數據管理技術也必然要隨之更新，云數據管理技術是為了給云計算提供強大可靠的數據存儲管理支持，為云計算技術提供數據基礎，因此其發展也會隨著云計算技術的需求而不斷改善。在目前的發展趨勢看來，正有著許多新技術和新思想不斷涌現，不同概念和云數據管理概念的結合創造出來更多的云數據管理技術。目前云數據管理技術發展趨勢正傾向于將不同學科、不同領域的概念與之相結合形成新的管理技術，這種發展不僅能夠促進云數據管理技術的創新，也加強了云技術與其他學科技術的結合發展，促進了不同技術的融合與共同發展。
5結束語
關鍵詞：汽輪機 數據管理 開發
詵⒌緋е？汽輪機是最為重要的基礎設備之一。并且，汽輪機是在非常長的周期中，一直不停地高速運轉。在一些外界和自身因素的影響下，會出現一定的故障，給企業帶來極大經濟損失。目前，我國對于汽輪機的數據管理與監測中，也引進了相對先進的數字化系統。這些數據管理與監測系統，多是通過下位機的模式進行運轉。所采用的下位機可以進行相關的數據收集工作，通常將下位機設置在汽輪機的監測現場。而上位機則對所收集的數據加以分析與管理，同時對汽輪機運行中的故障進行判斷，通常將上位機設置在監控中心。這種采用上位機與下位機的運行方式，數據管理與監測系統與被監測的汽輪機依舊采取一對一的方式進行配置，也不便于對系統進行集中式的管理，無法真正發揮出數據管理與監測系統的功能。另外，采用傳統方式進行數據管理與系統的監測，幾乎均是基于文件系統的數據管理方式，在數據管理過程中，無法實現實時的共享數據。對于數據的查詢時，也相對復雜與繁瑣。而對汽輪機進行故障的判斷與分析，是要依據非常多的現場實測數據來完成的，只有收集到了實時、真實的數據，才可以對信號加以處理與分析，最后準確地對故障進行判斷。所以，基于此，研發了基于Windows操作系統以及數據庫技術的數據管理及實時監測系統，以實現對汽輪機運行時的數據進行實時收集、分析、監測與處理。
1 系統的構成
在此系統之中，能夠同時對不同的汽輪機組進行數據的收集、管理與監測，其整體的結構圖如圖1所示。
其中A/D板和相應的監測用主機通過ISA槽相連接，每一個A/D板收集對應汽輪機運行時的數據，同時完成對收集數據的轉換工作。其能夠同時管理與監測汽輪機的數量，可以依據主機之中ISA槽數量來進行調整。不同的汽輪機，能夠依照所需進行監測的內容，例如：汽輪機的轉數、軸徑、向振動、瓦振、熱工參數以及脹差等，而隨時進行調整。
2 系統所具有的功能
2.1 智能化的數據信息采集功能
在此系統之中，能夠依照不同的汽輪機所擁有的運行狀況，而使用各異的數據信息采集方法，以完成對不同汽輪機的數據采集工作。能夠達到16通道信號同步的進行整同期、等速間隔等不同的數據信息采集方式，并且系統之中還安裝有能夠調節拐點的抗混跟蹤濾波裝置，可以完成對相關振動信號的32倍頻采集工作。每一次單個通道能夠采集512、1024或者2048點。
2.2 狀態監測功能
通過棒狀圖形以及數字的形式，來直觀呈現出不同通道所收集的實時在線數據信息，能夠實時地在線反映出不同汽輪機設置的測點、不同測點的運行狀態、軸芯軌跡等相關內容。并且，當汽輪機發生異常波動時，還可以及時發出聲、光等報警信號。
2.3 實時數據的分析以及診斷功能
對不同的汽輪機啟動與停止以及正常運行過程中的相關數據，通過頻譜方法加以分析，并得出相應的頻譜圖像、瀑布圖像等，對不同汽輪機實時的運行情況加以全面診斷。同時，將發生故障時的相關數據傳輸至“黑匣子”之中，便于以后更加全面、細致地進行分析，可以更加精確判斷出轉子質量出現的失平衡、不對中以及裂紋等各種易出故障。同時，可以分析得出不同故障所發生的原因，給出相應解決方案。
2.4 數據管理功能
在該系統之中，所包含的數據庫有實時數據庫、啟動數據庫、停機數據庫以及歷史數據庫等4個數據庫，擁有一樣的關系結構組成，即時間，1-m號振動測量點數據值，1-n號熱工測量點數據值。并將時間信息當成是數據庫關系結構之中的主鍵，可以通過時間數據來對不同的記錄進行識別。若是汽輪機處于正常的工作狀態，系統則會按設定的時間，對波形數據信息進行儲存。而若是汽輪機處于異常工作狀態，系統則會對每一組的波形數據信息進行儲存。時域波形數據庫之中，關系結構是時間，1-m號振動波形數據信息。在上述關系結構之中，同樣將時間數據信號當成是主鍵，可以通過時間數據來對不同的記錄進行識別。在汽輪機的運行過程中，會對出現的異常情況進行實時的數據信息記錄。在汽輪機運行異常記錄數據庫中，關系結構為時間，測量位置名稱，異常數據值。數據管理系統在設定的時間間隔會對開量及關量，進行數據信息的記錄，其數據庫關系結構為時間，測量位置名稱，動作之前所具有的狀態，動作之后所具有的狀態。
2.5 趨勢以及報表分析和輸出功能
對汽輪機的運行實時監測數據分級劃分與管理，并分析每1小時、每1天以及每1月的趨勢。同時，做出日報表以及月報表。能夠通過圖形以及報表等各種形式，對信息進行輸出。另外，用戶還能夠對系統再次進行開發，從而更好適應現場各種的需求。
3 系統的硬件
3.1 傳感裝置
應當依照不同測量數據信號所具有的特征，而選擇適宜的位移、加速度、壓力、電流等不同種類與型號的傳感裝置。
3.2 A/D轉換板
所采用的A/D轉換板，應當能夠實現16通道慢變信號以及16通道快變信號的相關數據信息的收集工作。在慢變信號的每一通道之中，都設置上光電隔離裝置。所采用的A/D轉換裝置具有的精度是12bit±（1/2）LSB，所具有的轉換時長是2μs。
3.3 監測主機
此系統之中，所采用的監測主機是標準的工業控制計算機，設備可以實現無故障使用高達4萬個小時以上。
4 系統的軟件
在此系統之中，完成了相應的組態化參數設定，不僅對工廠的運行參數、汽輪機運行參數以及不同通道的相關設置，而且系統中的監測模塊以及數據庫模塊等均能夠進行動態的組態設定。所以，此系統可以更容易再次的擴容，同時具有較強的適應能力。
5 結語
該汽輪機數據管理以及監測系統，不僅涉及的結構相對簡潔，同時擁有較高的技術水平，可以更好適用于汽輪機的數管理與實時監測工作之中?，F在此系統已被應用于汽輪機的實際數據管理工作之中，其所具有的可靠性及準確性都能夠達到相應的要求，為企業的安全生產提供了有力保障。
參考文獻
【關鍵詞】試驗數據管理；TDM；動態建庫；Web頁面自動生成；海量數據導入
一、背景
試驗是產品研發、生產制造、直至維修保障過程中必不可少的重要技術手段，對于產品的性能、壽命、質量以及成本方面都起著至關重要的作用。試驗技術和試驗管理水平的高低，是一個企業或科研單位核心競爭力的重要體現。經過多年的投資建設，我國在高科技產品的試驗及測試設備條件上取得了明顯的改進，隨著近年來高科技產品在性能上的要求不斷提高，科研生產任務日益繁重，與之對應的試驗任務的種類、數量和復雜程度也在不斷增加?，F有的試驗管理手段和技術手段，已經明顯不能滿足需求。突出表現為試驗測試數據與數據管理之間的不匹配。由于缺少先進適用的試驗數據管理手段，導致科研單位對試驗數據的維護和使用都非常困難，數據的完整性、一致性、安全性和可用性也難以保障，更無法進一步挖掘出埋藏在試驗數據當中的知識。試驗數據管理問題正在成為影響科研效率的新的瓶頸，嚴重制約了高科技產品的科研生產和創新發展。
在試驗數據管理方面的問題主要表現在以下幾個方面：（1）試驗數據分散獨立；（2）試驗信息缺乏完整性；（3）試驗缺乏標準化管理；（4）試驗信息缺乏完整的管理體系；（5）試驗過程及試驗數據之間缺乏集成；（6）試驗數據的安全性缺乏整體部署；（7）數據利用率低；（8）試驗數據很難在設計、仿真部門利用。在這種背景下，TDM系統應運而生。TDM是Test Data Management的縮寫，其中文含義是試驗數據管理。作為產品生命周期管理（PLM）的重要組成部分，TDM系統通過建立企業內部權威的試驗數據資源庫，把企業所有的試驗數據和所有與試驗相關的信息和業務流程進行統一管理，成為企業提高科研水平、縮短科研周期、降低科研經費的源動力。
二、試驗數據管理面臨的挑戰
我們已經認識到了試驗數據管理工作的重要性，但是真正開展試驗數據管理工作卻不是一件容易的事情，我們面臨著許多困難和挑戰。
1．試驗易變性。試驗具有易變性特點。在試驗數據采集過程中，每次試驗的采集通道數目是變化的，每個通道采集的數據量也是變化的。另外，設備改造、試驗室擴展、試驗環境變化等因素會帶來試驗設備、試驗臺架、試驗儀器、數據種類等的變化。因此，傳統的靜態數據庫結構是無法滿足這種數據的存儲需求的。
2．試驗數據量大。隨著科技的發展和試驗重要性的提升，試驗的時間越來越長，比如：飛機發動機連接件的疲勞試驗超過1年；試驗采集的通道數越來越多，有的模態試驗通道數高達10000個；試驗設備采集速度越來越快，對于微波試驗而言更有高達1Mbps的儀器設備；試驗過程也越來越復雜。因此，試驗產生的數據量呈幾何數量級增長，這給試驗數據管理帶來了很大的難度。
3．試驗數據種類繁多。目前，在國際和國內市場上試驗設備種類多樣，并且沒有國際統一的數據格式標準。在試驗單位存在大量不同的試驗設備的情況下，試驗采集的原始數據種類也是多種多樣的，試驗數據之間的格式差異很大，試驗數據管理并非易事。
三、試驗數據管理系統關鍵功能
1．動態建庫。允許用戶任意定制自己所需的數據庫模型，包括數據表、數據視圖、數據校驗規則和約束條件等內容，滿足用戶多種需要，如：調整數據庫結構、組織和查找試驗數據、增加數據校驗的條件和規則等，適應用戶不斷變化的試驗業務需求。
2．海量數據導入。提供數據導入功能，從各種格式的海量試驗數據文件中快速提取目標數據并且導入數據庫中。由于試驗數據量很大，導入性能是一個關鍵指標，一般應該達到在3G/小時以上。
3．Web頁面自動生成。在數據庫模型設計完成后，TDM系統會自動生成完整的Web門戶來供試驗人員訪問，提供數據錄入、修改、刪除、查看、上傳、下載等常用操作。而且，在用戶根據業務變化而修改數據庫模型時，TDM系統可以自動調整Web門戶中的頁面內容。這樣就免除了二次開發帶來的煩惱。無論試驗數據發生何種變化或者用戶產生何種應用需求，都不會妨礙試驗數據管理工作的平穩有序的進行。
4．試驗數據管理業務應用。TDM系統可以幫助企業客戶搭建統一的試驗數據管理平臺，構造完整規范的試驗業務系統。TDM系統可以實現的核心業務應用包括以下幾個方面。（1）試驗項目管理。提供完備的試驗項目規劃管理，包括試驗設計、試驗文件簽轉、試驗任務管理、試驗相關數據查詢、試驗任務統計和試驗資源配置等管理功能。（2）試驗流程管理。提供試驗流程定制、試驗流程執行、試驗流程監控、歷史試驗流程查詢和試驗相關數據查詢等功能，可以隨時定制所需的工作流程，如試驗準備工作流程、試驗文檔審批流程、數據質量控制流程等。（3）試驗標準管理。具有相關試驗標準（國標、國軍標、行業標準及單位標準）的目錄清單及文件管理功能，在試驗過程中可以很方便地提取并查看相關標準文件，并可結合單位管理程序文件中確定的各種流程來進行流程設計。（4）試驗資源管理。管理與試驗相關的所有資源信息，主要包括試驗設備、試驗原料、試驗環境數據、試驗件信息、試驗設備及測試設備量值溯源信息、試驗人員信息、計量數據等。（5）試驗數據管理.管理試驗過程中采集到的所有數據以及手工錄入的所有數據，包括原始測量試驗數據、過程測量數據、試驗結果數據、試驗分析數據、異常數據、多媒體試驗數據等。另外，試驗任務書、試驗大綱、試驗報告等文檔也是系統的管理目標。（6）數據模型管理。實現動態建庫，允許用戶動態建立及維護數據庫模型，并能夠靈活地定義數據之間的關聯關系，定義多級數據校驗條件和規則，并進行自動數據校驗。（7）數據處理分析。提供數據分析繪圖功能，能夠實現各種常用的曲線圖、柱狀圖、餅圖、云圖、等高線圖等繪圖方法；提供原始數據回放、曲線裁剪、圖形縮放、數據截取、曲線求和等各種專業數據處理方法；提供算法集成功能，可以集成各種第三方算法和自己編制的算法；通過擴展機制，可以不斷把所需的算法豐富到系統平臺中，滿足實際工作的需要。數據處理分析功能可以便捷定位數據并快速完成數據分析處理操作，提高工作效率。（8）數據挖掘和決策支持。提供數據挖掘功能，從大量的試驗數據中抽取出潛在的有用信息、模式和趨勢，在歷史試驗數據的經驗基礎上探索出新試驗數據管理的前景。
TDM系統的應用可以帶來試驗管理的變革，保障試驗數據的安全，實現多部門之間的數據共享和工作協同，提高試驗數據管理水平和利用效率，保存和積累經驗知識，充分挖掘試驗數據的價值，改進和優化產品設計，提高設計質量。目前國際和國內的TDM市場尚處于起步階段，部分行業的一些單位已經開始嘗試建立TDM系統。盡管TDM市場的成熟尚需時日，但是TDM系統已經被各種行業的試驗和設計單位所關注，TDM市場已經呈現出了蓬勃的朝氣。
參考文獻
關鍵詞：云計算 云數據 管理技術
中圖分類號：TP315 文獻標識碼：A 文章編號：1007-9416（2016）04-0000-00
云計算和云數據是提升信息傳遞和使用質量的重要技術，因此，在經濟發展對信息資源依賴度較高的背景下，對云計算和云數據的相關技術進行研究，能夠很大程度上提升我國經濟建設水平。
1云數據管理技術的特點
1.1云數據可以提升信息存儲的質量
云數據在進行管理的過程中，信息存儲的程序較為完善，因此，大量的信息數據會通過分布式管理的方式完成儲存，如果信息數據在利用的過程中需要進行快速的提取，則可以使用存儲管理變革的方式對信息的管理方式進行完善。要根據信息數據的保密性特點，對信息的具體存儲位置進行設置，因此，操作人員可以很好的利用云數據管理完成對信息具體收集情況的判定[1]。相比于傳統的信息收集模式，云數據的信息收集能夠對信息實施多重保護措施的添加，因此，云數據的包容性較強。另外，云數據還具備很強的信息容錯功能，能夠在較短的時間內，對大量錯誤的信息數據實施區分，并將信息數據進行錯誤報告，以便信息能夠提升處理的可靠性。
1.2提升信息資源處理的效率
分布式處理是云數據處理的主要形式，因此，信息資源在處理的過程中，需要根據信息收集邏輯的狀態進行質量的判定，因此，信息數據的處理活動需要通過數據收集的方式進行。在信息數據的處理過程中，各項信息資源可以使用統一的方式進行處置，因此，信息資源可以使用數據存儲的方式對眾多的信息資源進行控制[2]。在信息提取的過程中，信息資源可以按照存儲狀態的特點對提取流程進行規劃，因此，信息資源的處理是提升信息提取效率的重要因素。
2云計算和云數據的相關技術
2.1云計算和云數據的GFS技術
GFS技術目前在云計算和云數據領域的應用較為廣泛，此一技術依賴谷歌云計算的相關技術，對已經掌握的信息資源實施規范化管理，使相關信息可以實現管理技術的完善。在應用技術的選擇過程中，資源文件可以作為云計算技術的應用基礎，而相關信息資源的存儲可以使用存儲庫的方式進行完善，因此，可以針對目前具備的信息系統的專有接口，對用戶信息進行研究，使系統能夠保證用戶信息使用的準確。當云數據的使用一方對獲取數據的需求進行輸出時，可以針對已經具備的傳輸邏輯對管理團隊的具體管理程序進行研究，使管理人員能夠保證對信息庫具備較高水平的控制[3]。要有針對性的對已經完成調查的數據庫進行研究，以便不同種類的數據庫可以通過用戶的具體請求可以得到滿足。在對云數據實施管理的過程中，可以利用谷歌系統的相關程序進行幫助，以便管理工作可以對大量的基礎性信息數據實施完整的存儲，如果信息系統可以更好的使用數據管理的模式進行大量數據的集中處理，則需要使用GFS技術進行管理程序的研究，使云數據的管理工作可以更好的實現應用技術的突破。因此，要根據云計算的相關技術，對需要進行使用的技術進行應用方案的規劃設計，使技術的應用更加完整。
2.2云計算和云數據的big table技術
Big table技術同GFS技術具備一定的相似性，可以利用谷歌團隊開發的其他技術，對數據管理的有關技術進行研究，因此，數據管理技術需要按照谷歌團隊的文件資源進行管理系統的研發，如果能夠將數量眾多的信息實施集中處理，則可以利用表格制定的方式，對相關的谷歌文件進行調取，使技術的應用獲得更多信息資源的支持。要使用制定虛擬表格的方式，對大量的信息數據實施處理，以便信息數據可以更好的在相同的范圍內進行使用[4]。在云數據在調節過程中，可以通過數據查詢的方式對數據進行處置，使信息數據的處置具備更高的合理性特點，要正確的選取文件處理方式，使具備相似性特點的云數據在處理的過程中能夠更加完備。要提升資源分配的合理性，通過云計算的方式對多種多樣的信息數據實施數據處理，提升云數據的處理效率。在進行云數據管理的過程中，可以利用數據管理的方法對管理活動的具體特點進行明確，以便數據的管理能夠提升運行質量。
2.3云計算和云數據的dynamo技術
Dynamo技術是云數據管理領域使用較為頻繁的數據，可以按照云數據的分布式特點，對已經存在的數據信息實施研究，使信息數據可以具備足夠的分布式特征?？梢酝ㄟ^表格制定的方式，對數據庫實施存儲結構的設計，使大量的信息數據能夠通過數據庫結構的調節實現數據完整性的提高。要利用大量信息數據的完整性特點，對數據存儲的形式進行明確，以便信息數據的使用可以通過存儲形式的改變完成對信息的控制?？梢岳枚喾N參數共用的方式進行數據存儲方案的設定，使數據的存儲技術可以得到更高水平的提升。要提前對需要使用的信息副本進行設計，以便信息資源可以在讀取的過程中具備更強的針對性。要在信息資源讀取完成之后，對已經解除儲存的信息實施集中管理，以便信息能夠在完成收集之后實現存儲質量的提高。要在全部的信息資源讀取完成之后，利用寫入技術對系統的運行方案進行研究，使系統可以在讀寫程序完成之后進行云數據的整合，以便信息數據可以具備高度相似的特點。
3結語
云計算和云數據是信息處理的重要技術，深入的研究云計算和云數據的管理技術，能夠使很多領域的信息處理水平得到大幅度的提高，因此，很多領域都已經加強了對數據管理工作的重視，并將云數據管理作為重要的科研內容。
參考文獻
[1] 鄭曉霞.淺談云計算和云數據管理技術[J].電子制作，2014.
[2] 劉正偉，文中領，張海濤 等.云計算和云數據管理技術[J].計算機研究與發展，
2012.
[3] 劉德永.云計算和云數據管理技術[J].計算機光盤軟件與應用，2013.
[4] 周傲英，金澈清，王國仁 等.不確定性數據管理技術研究綜述.計算機學報，2009.
【關鍵詞】自動監測；數據管理；浮標
1需求分析
海洋水質監測浮標數據管理系統功能需求包括對投放在海上的水質監測浮標的綜合管理，制訂實時監測數據質量控制程序，數據有效性評估和監測數據集的統計分析等。數據管理模塊是整個系統的關鍵所在，是其他功能模塊實現數據的存儲、交換等工作的基礎。而數據管理模塊的設計與實現必須嚴格按照海洋監測相關規范、標準，最終構建一個集成、穩定、開放、可共享和可擴展的海洋環境資料數據倉庫[1]。數據管理模塊從數據集中實時獲取海洋水質監測數據、集成數據安全控制、數據質量控制、數據統計分析、數據建模等功能，分別形成相互關聯的數據集，在此基礎上構建海洋環境資料數據倉庫，為模型分析和數據產品提供強大的數據支撐。性能需求主要通過功能需求實現來體現，要求系統運行穩定，容錯性強，界面友好，能夠滿足海洋水質數據監測、傳輸、接收、管理、查詢、分析、預警、、存檔等各方面的要求。系統各性能指標包括系統響應速度，平均無故障運行時間間隔等要求均需按照國家相關標準。
2設計與實現
海洋水質監測浮標數據管理系統采用瀏覽器/服務器（Brower/Server，簡稱B/S）和客戶機/服務器（Client/Server,簡稱C/S）混合模式開發，基于C#、.NET開發環境，以MicrosoftSQLServer為數據庫管理系統。本系統遵循以數據為重點、以提高數據管理、分析為目標的指導思想，對基礎數據進行有秩序、科學的管理、展示和分析，講究系統的先進性、實用性原則，標準化、規范化原則，高性能和穩定性原則，開放性、可擴展性原則，安全性、可靠性原則，經濟和時效性等設計原則。海洋水質監測浮標數據管理系統的體系構架以“‘一體化’數據管理應用開發與集成框架”為核心來設計，實現海洋水質數據監測、傳輸、接收、管理、查詢、分析、預警、、存檔全過程管理。利用地理信息系統技術對浮標數據的統計和分析，以統一的方式對浮標和基礎數據進行管理，在此基礎上設計并實現海洋水質監測浮標數據管理系統。該系統可以實現了對浮標的多點、多傳感器、長時間序列的關聯存儲、條件檢索和動態展現，通過將浮標總表與浮標分表相結合，實現多層次、全方位的海洋水質數據管理功能，系統功能圖[2]如圖1所示。海洋水質監測浮標數據管理系統實現了登錄、個人首頁、地理信息、統計分析、數據表格、浮標管理、GPS信息、模型管理、系統運維九大模塊，集成了數據安全控制、數據質量控制、數據統計分析、數據模型等功能，并為后續開發與完善提供了數據接口。
2.1數據安全控制
基于海洋水質監測浮標的數據的重要性與保密性，數據安全控制尤為重要。（1）加密傳輸數據在浮標端發出之前就需要對受保護的數據進行加密[3]，即對客戶端需要讀取的數據在服務端先加密再發往客戶端，客戶端則對授權用戶采用相應的解密措施，在客戶端軟件中實施解密。（2）存取控制實為授權機制，它規定某個范圍的數據，在何種條件下，準許何種操作。對于數據庫表的存取控制，一種方法是定義用戶權限表，只有指定的用戶才能進行相應的操作，如對數據庫進行擁有、只讀、只寫、讀寫、刪除等操作；另一種方法是對表定義訪問權限。對于文件系統的存取控制，一種方法是控制文件的存取，另一種方法是置于與文件樹關聯的各級目錄中。（3）口令保護即對已授權用戶分配特定的口令。系統登錄模塊中有用戶口令識別模塊，通過對分配給用戶的特定口令來識別并確認用戶的訪問權限，口令識別認證通過后用戶才允許進入系統，且進入系統后根據不同權限的用戶分配不同的操作權限?？诹罘ǖ膬烖c在于軟件比較簡單，缺點是口令本身保密性不強，而通過加密后再傳送口令這一方法能有效的解決這一保密性問題。（4）日志管理系統全面采取日志管理監控機制。用戶對數據的創建、瀏覽、修改、刪除等都將被系統監控并記錄，記錄的詳細信息包括時間、用戶、用戶IP地址、所進行的操作等。對數據備份也會生成相應的備份日志文件，以方便在數據恢復時準確掌握備份數據情況。（5）數據備份數據是系統的基礎，任何情況下，保障數據的完整與安全都至關重要。完善的數據備份機制，是保障數據完整與安全的重要手段之一。考慮到管理業務的特點，本系統采用完全備份和增量備份組合的機制。每周一個備份循環，周日進行完全備份，其它工作日采用增量備份。另一方面，為防止一些不可抗拒的外來因素對數據備份存儲介質帶來永久性損壞而造成數據的損失，必須周期性的將數據備份文件復制到異地存儲設備，以最大限度地保障數據安全。
2.2數據質量控制
海洋水質監測浮標的每一條數據入數據庫之前，會通過數據校驗模型、數據校正、異常值檢測等一系列的質量控制程序，將數據結構不完整、數據異常、儀器故障等情況在數據狀態一欄標注出來，以供進一步審核判斷，保障數據準確可靠。（1）解析模型解析模型是接收模型的核心內容，接收模型主要為接收服務提供數據接收算法依據，包括接收字段的長度、接收頻率、接收地址、有效性、接收次數及接收對應浮標等。接收模型可針對單個浮標多種協議單獨設立接收規則。解析模型主要輔助數據接收模型中解析服務對接收的數據進行解析，能驗證通訊包結構，驗證數據解析配置，驗證周期配置，修正公式校正等，并根據結果存入數據倉庫的對應表中。解析模型可針對單個浮標多種傳感器數據單獨設立解析規則，如時間周期、編碼對應等。解析模型的流程圖[2]如圖2所示。（2）異常值檢測由于海洋環境明顯的動態效應[4]，海洋水質監測浮標所得到的數據存在著一定的異常率。核心問題是如何在數據入庫的過程中實現異常值的自動檢測，并正確地標記出異常值的位置，這就是所謂的異常值定位問題。本系統中異常值檢測包括閾值檢測和異常數據判斷。閾值檢測根據系統內已設置的監測參數數值上下限初步判斷異常值。異常數據判斷依據已制定的異常數據判斷算法執行。譬如pH的異常數據判斷，若某個pH數據與時間序列前10個數據和后面10個數據相比分別有8個以上的差值大于0.5，即標記為異常值。經過異常值檢測后進入數據庫的數據都已做標記，同時系統還具備了人工審核功能。對于標記出異常的數據在人工審核階段可以對其進行再次的判定，若確認是異常值，在之后的一系列數據應用中此異常數據將被排除。
2.3數據統計分析
數據表格主要將各浮標數據及傳感器的實時信息進行展現、導出、部署等，具體包含數據列表、數據報表、數據導出、數據補數、傳感器狀態和數據量統計功能。數據列表將各浮標及傳感器的實時信息進行展現如圖3所示。數據導出對數據列表中個數據執行導出動作，可按條件、范圍導出。數據補數實現對漏發或異常數據的補發功能，補數功能支持時間段選擇。補數功能主要由浮標管理員發起，通過系統將可視化命令轉化為浮標指令下達至浮標。傳感器狀態模塊記錄傳感器周期性狀態，并實時展現。同時給出各狀態的統計圖、標準值并預警。數據量統計對數據倉庫中的浮標數據量進行總體統計，包括對傳感器的各項具體指標。數據統計分析是以實時數據接收、解析和處理后的海洋水質監測要素數據為基礎，為用戶提供數據查詢、分析、顯示、轉換、導出等功能，實現信息數據從采集、傳輸到數據共享、利用和分析的過程。其中曲線圖模塊對浮標各傳感器的監測參數有效值進行曲線圖展現，如圖4所示。數據統計模塊對多個浮標的各監測參數有效值分別進行統計并展示，便于用戶直觀的查看并做出正確的判斷。對報表統計結果可以進行導出。
2.4數據模型
數據模型是使用數據管理模塊提供的海洋水質監測數據資料進行建模分析并對其發生狀況進行評價及預警。該模塊是利用先進的數據挖掘算法，如模糊聚類分析、支持向量機等，建立海洋水質評價模型、海洋水質要素預警模型等，分析海洋災害發生時的特征、發生的原因并預測出海洋災害即將發生的時間，實現海洋災害特征要素的自動預警預報，為海洋相關部門提供可靠的、科學的依據。數據模型從建模開始就是在不斷的更新過程中的，通過不斷的驗證以及反饋自動修正，確保數據模型的精確性和可用性。數據模型中提供了多種基礎類的評價預警模型，也提供了相應的接口供用戶修正數據模型。
2.5數據接口
對系統中已有的數據接口進行了顯示和說明，可進行是否打開操作。數據接口除了在實施系統時現場開發的新接口外，系統還提供部分常用接口和說明供其他系統和用戶調用。數據接口一般有數據底層交互接口，XML等通用文件交互接口，WebService網絡交互接口和類庫調用交互接口等多種方式，具體根據系統間可提供的交互度為基礎選擇最優方式進行數據對接。
3結束語
海洋水質監測浮標數據管理系統是海洋環境監測的核心信息系統之一，在系統設計實現過程中，綜合考慮了系統架構、技術方案、軟硬件設施、運維服務能力等方面，確保系統的高性能和低故障率。系統實現了登錄、個人首頁、地理信息、統計分析、數據表格、浮標管理、GPS信息、模型管理、系統運維九大模塊，集成了數據安全控制、數據質量控制、數據統計分析、數據模型等功能，并為后續開發與完善提供了數據接口。基于國家對海洋水質監測高度的重視，監測浮標不斷的規模化發展，數據管理系統也逐步發展成為能實時地、連續地、長期地、準確地提供監測區域內水質監測數據的海上在線監測網，實現了海洋水質監測由瞬時監測向連續監測，由定期監測到實時監測的跨越。在此基礎上，今后將著力于構建海洋水質實時監測與動態評價體系，實現海洋水質評價由定性評價到定量評價，由單一學科評價到生態系統評價，由現狀評價到趨勢評價與預測的轉變，開發建立符合監測海域環保、海洋開發利用、減災、防災需要的實測、預報及預警等評價信息產品，為海洋相關部門提供詳實可靠的數據信息、科學的預報、預警信息，為海洋環境綜合管理、海洋環境保護、海洋資源合理開發提供服務。
參考文獻
[1]李俊.海洋環境在線監測及赤潮災害預報系統研究[D].山東大學,2007:9-12.
[2]王瑞金.統一建模語言UML及其建模實例[J].計算機應用研究,2002,(8).
[3]何志強.近岸海域浮標實時監測系統設計概要[J].聲學與電子工程,2014,(3):47-49.
科學數據管理辦法第一章 總則
第一條 為進一步加強和規范科學數據管理，保障科學數據安全，提高開放共享水平，更好支撐國家科技創新、經濟社會發展和國家安全，根據《中華人民共和國科學技術進步法》、《中華人民共和國促進科技成果轉化法》和《政務信息資源共享管理暫行辦法》等規定，制定本辦法。
第二條 本辦法所稱科學數據主要包括在自然科學、工程技術科學等領域，通過基礎研究、應用研究、試驗開發等產生的數據，以及通過觀測監測、考察調查、檢驗檢測等方式取得并用于科學研究活動的原始數據及其衍生數據。
第三條 政府預算資金支持開展的科學數據采集生產、加工整理、開放共享和管理使用等活動適用本辦法。
任何單位和個人在中華人民共和國境內從事科學數據相關活動，符合本辦法規定情形的，按照本辦法執行。
第四條 科學數據管理遵循分級管理、安全可控、充分利用的原則，明確責任主體，加強能力建設，促進開放共享。
第五條 任何單位和個人從事科學數據采集生產、使用、管理活動應當遵守國家有關法律法規及部門規章，不得利用科學數據從事危害國家安全、社會公共利益和他人合法權益的活動。
第二章 職責
第六條 科學數據管理工作實行國家統籌、各部門與各地區分工負責的體制。
第七條 國務院科學技術行政部門牽頭負責全國科學數據的宏觀管理與綜合協調，主要職責是：
(一)組織研究制定國家科學數據管理政策和標準規范;
(二)協調推動科學數據規范管理、開放共享及評價考核工作;
(三)統籌推進國家科學數據中心建設和發展;
(四)負責國家科學數據網絡管理平臺建設和數據維護。
第八條 國務院相關部門、省級人民政府相關部門(以下統稱主管部門)在科學數據管理方面的主要職責是：
(一)負責建立健全本部門(本地區)科學數據管理政策和規章制度，宣傳貫徹落實國家科學數據管理政策;
(二)指導所屬法人單位加強和規范科學數據管理;
(三)按照國家有關規定做好或者授權有關單位做好科學數據定密工作;
(四)統籌規劃和建設本部門(本地區)科學數據中心，推動科學數據開放共享;
(五)建立完善有效的激勵機制，組織開展本部門(本地區)所屬法人單位科學數據工作的評價考核。
第九條 有關科研院所、高等院校和企業等法人單位(以下統稱法人單位)是科學數據管理的責任主體，主要職責是：
(一)貫徹落實國家和部門(地方)科學數據管理政策，建立健全本單位科學數據相關管理制度;
(二)按照有關標準規范進行科學數據采集生產、加工整理和長期保存，確保數據質量;
(三)按照有關規定做好科學數據保密和安全管理工作;
(四)建立科學數據管理系統，公布科學數據開放目錄并及時更新，積極開展科學數據共享服務;
(五)負責科學數據管理運行所需軟硬件設施等條件、資金和人員保障。
第十條 科學數據中心是促進科學數據開放共享的重要載體，由主管部門委托有條件的法人單位建立，主要職責是：
(一)承擔相關領域科學數據的整合匯交工作;
(二)負責科學數據的分級分類、加工整理和分析挖掘;
(三)保障科學數據安全，依法依規推動科學數據開放共享;
(四)加強國內外科學數據方面交流與合作。
第三章 采集、匯交與保存
第十一條 法人單位及科學數據生產者要按照相關標準規范組織開展科學數據采集生產和加工整理，形成便于使用的數據庫或數據集。
法人單位應建立科學數據質量控制體系，保證數據的準確性和可用性。
第十二條 主管部門應建立科學數據匯交制度，在國家統一政務網絡和數據共享交換平臺的基礎上開展本部門(本地區)的科學數據匯交工作。
第十三條 政府預算資金資助的各級科技計劃(專項、基金等)項目所形成的科學數據，應由項目牽頭單位匯交到相關科學數據中心。接收數據的科學數據中心應出具匯交憑證。
各級科技計劃(專項、基金等)管理部門應建立先匯交科學數據、再驗收科技計劃(專項、基金等)項目的機制;項目/課題驗收后產生的科學數據也應進行匯交。
第十四條 主管部門和法人單位應建立健全國內外學術論文數據匯交的管理制度。
利用政府預算資金資助形成的科學數據撰寫并在國外學術期刊時需對外提交相應科學數據的，論文作者應在前將科學數據上交至所在單位統一管理。
第十五條 社會資金資助形成的涉及國家秘密、國家安全和社會公共利益的科學數據必須按照有關規定予以匯交。
鼓勵社會資金資助形成的其他科學數據向相關科學數據中心匯交。
第十六條 法人單位應建立科學數據保存制度，配備數據存儲、管理、服務和安全等必要設施，保障科學數據完整性和安全性。
第十七條 法人單位應加強科學數據人才隊伍建設，在崗位設置、績效收入、職稱評定等方面建立激勵機制。
第十八條 國務院科學技術行政部門應加強統籌布局，在條件好、資源優勢明顯的科學數據中心基礎上，優化整合形成國家科學數據中心。
第四章 共享與利用
第十九條 政府預算資金資助形成的科學數據應當按照開放為常態、不開放為例外的原則，由主管部門組織編制科學數據資源目錄，有關目錄和數據應及時接入國家數據共享交換平臺，面向社會和相關部門開放共享，暢通科學數據軍民共享渠道。國家法律法規有特殊規定的除外。
第二十條 法人單位要對科學數據進行分級分類，明確科學數據的密級和保密期限、開放條件、開放對象和審核程序等，按要求公布科學數據開放目錄，通過在線下載、離線共享或定制服務等方式向社會開放共享。
第二十一條 法人單位應根據需求，對科學數據進行分析挖掘，形成有價值的科學數據產品，開展增值服務。鼓勵社會組織和企業開展市場化增值服務。
第二十二條 主管部門和法人單位應積極推動科學數據出版和傳播工作，支持科研人員整理發表產權清晰、準確完整、共享價值高的科學數據。
第二十三條 科學數據使用者應遵守知識產權相關規定，在、專利申請、專著出版等工作中注明所使用和參考引用的科學數據。
第二十四條 對于政府決策、公共安全、國防建設、環境保護、防災減災、公益性科學研究等需要使用科學數據的，法人單位應當無償提供;確需收費的，應按照規定程序和非營利原則制定合理的收費標準，向社會公布并接受監督。
對于因經營性活動需要使用科學數據的，當事人雙方應當簽訂有償服務合同，明確雙方的權利和義務。
國家法律法規有特殊規定的，遵從其規定。
第五章 保密與安全
第二十五條 涉及國家秘密、國家安全、社會公共利益、商業秘密和個人隱私的科學數據，不得對外開放共享;確需對外開放的，要對利用目的、用戶資質、保密條件等進行審查，并嚴格控制知悉范圍。
第二十六條 涉及國家秘密的科學數據的采集生產、加工整理、管理和使用，按照國家有關保密規定執行。主管部門和法人單位應建立健全涉及國家秘密的科學數據管理與使用制度，對制作、審核、登記、拷貝、傳輸、銷毀等環節進行嚴格管理。
對外交往與合作中需要提供涉及國家秘密的科學數據的，法人單位應明確提出利用數據的類別、范圍及用途，按照保密管理規定程序報主管部門批準。經主管部門批準后，法人單位按規定辦理相關手續并與用戶簽訂保密協議。
第二十七條 主管部門和法人單位應加強科學數據全生命周期安全管理，制定科學數據安全保護措施;加強數據下載的認證、授權等防護管理，防止數據被惡意使用。
對于需對外公布的科學數據開放目錄或需對外提供的科學數據，主管部門和法人單位應建立相應的安全保密審查制度。
第二十八條 法人單位和科學數據中心應按照國家網絡安全管理規定，建立網絡安全保障體系，采用安全可靠的產品和服務，完善數據管控、屬性管理、身份識別、行為追溯、黑名單等管理措施，健全防篡改、防泄露、防攻擊、防病毒等安全防護體系。
第二十九條 科學數據中心應建立應急管理和容災備份機制，按照要求建立應急管理系統，對重要的科學數據進行異地備份。
第六章 附則
第三十條 主管部門和法人單位應建立完善科學數據管理和開放共享工作評價考核制度。
第三十一條 對于偽造數據、侵犯知識產權、不按規定匯交數據等行為，主管部門可視情節輕重對相關單位和責任人給予責令整改、通報批評、處分等處理或依法給予行政處罰。
對違反國家有關法律法規的單位和個人，依法追究相應責任。
數據激增帶來的挑戰
近年來，各種事務和交互所產生的數據呈現出大幅增長的態勢，服務器、網絡、機器、傳感器、攝像頭以及其他無數設備正在連續不斷地捕獲和生成數據，這是推升存儲開支的主要因素。據IDC預測，2012至2017年期間，亞太地區（不含日本）在大數據存儲上的開支將以42%的復合年增長率快速提升。這一增長的主要動力來自滿足法規遵從以及不可預見的要求和未來分析的需要。
一般來說，企業的數據會分布在多個地點，除了本地外，還可能存儲在不同的數據孤島和第三方數據中心以及高度虛擬化的環境中，從而增加了數據管理的復雜性。因此，IDC建議企業，首先要制訂一項有效的數據管理戰略，并優化存儲層，確保數據安全。企業應當考慮使用一個靈活、可擴展的數據管理解決方案，用以自動保護、恢復和歸檔數據，并對內外部IT資產實施基于策略的管理。
此次由CommVault委托IDC所做的報告是基于對500多名來自中國、韓國、澳大利亞、泰國、馬來西亞、新西蘭和新加坡等亞太國家的IT高管的調研，受訪者涉及金融服務、電信、零售與批發、能源與公用事業等行業。值得注意的是，在500多名受訪者中有100位來自中國，正如CommVault亞太區資深市場總監Daniel CF Ng所說，這一調查與中國市場息息相關。通過調查，IDC發現，中國的IT管理者們在對數據和商業分析重要性的認識以及所采取的行動上已落后于亞太區同行；同時，中國企業在保護數據、災備恢復的具體行動上也明顯滯后于亞太區。因此，IDC提出了數據中心的十大高效戰略，包括虛擬化、現場合理化及整合、運營最佳實踐、自動化工具和軟件、數據中心重新設計、應用合理化、模塊化數據中心建設、全生命周期管理和規劃、基于Rack的電源和冷卻系統改造、架構和技術革新。
推進智能數據管理
IDC調研發現，數據管理目前依然是企業面臨的一大困擾，尤其是在大數據和云計算的背景下。大數據加劇了因數據量增加而導致的備份窗口不斷縮小、備份周期越來越長的挑戰，同時提出了有關數據的價值以及所有數據是否應被平等對待（即確定應該保留/放棄哪些數據、在何處存儲數據）的問題。與此同時，隨著亞太地區的企業將數據遷移至云端，因此，將更多地使用虛擬化和云端存儲解決方案。IDC認為，這些解決方案應具有以下特征：端到端保護，數據應該得到保護，而且備份/恢復服務應同時支持虛擬化和云端的數據以及物理服務器上的數據；訪問，應確保對重要數據資產的訪問，無論它們的位置、規模和類型，數據訪問應能服務于不斷增多的用戶，并滿足日益提升的移動性要求；性能，應用性能和備份時間可能受到影響；對數據資產的控制，數據存放位置是企業最關注的一個問題，對活躍度較高和較低的數據提供保護至關重要。
CIO對數據管理的重要性非常清楚，在IDC的調查中，對于“數據備份與恢復解決方案最重要的特性是什么”問題，“能夠管理和保護任何類型的數據”（41%）以及“一個允許用戶通過一體化平臺保護、管理和訪問所有數據的端到端解決方案”（38%）成為被選擇最多的項。CommVault中國區技術總監蔡報永對此表示，采用統一平臺是CIO們普遍的需求，“大家希望打破原來傳統的分離獨立式的管理模式，采用單一的平臺，并對所有的數據類型用單一的平臺來管理，這樣企業才能很好地預測未來數據管理的發展趨勢，以及可以方便訪問到想要訪問的數據?！?/p>
那么采用統一平臺的優勢是什么？CIO們的答案依次是能夠提升存儲與網絡優化水平，并節省成本；能夠更好地防止數據丟失和泄漏；能夠提高災難恢復的效率和可靠性。對此，蔡報永介紹了一個中國用戶的案例。一汽大眾的信息系統中數據類型非常復雜，有結構化、非結構化、文件類型甚至設計文件等各種各樣數據，傳統的辦法是采用不同的解決方案解決不同的數據和問題，使系統非常復雜。后來，他們采用了CommVault的Simpana平臺后，整個數據管理效率大大提高，并使成本下降?！斑@不難理解，原來需要投資多套軟件硬件，而現在只需要一套，并且對于數據的維護管理是全自動化的，不需要額外的人工參與。”蔡報永說。
調研結果（中國）
?26%的企業管理著50TB以上的數據；39%的企業預測，其數據將在2014年增長20%～50%。
?數據分布在不同的地點，58%的數據存儲在本地數據庫（比亞太區平均值高26%），28%的數據存儲在本地數據中心，11%的數據存儲在本地的多個站點（比亞太地區的平均值低）。
?中國企業存儲在PC和其他終端設備中的數據比亞太區任何國家的企業都要多。
調研結果（亞太區）
?72%的受訪者將數據的指數增長和復雜性視為最大的數據管理挑戰。
?70%的高管表示，如果數據丟失，他們的財務或運營業務將受損最大。
