當前位置:首頁 > 新聞資訊 > 市場活動 > 正文

精彩報告 | 華中農業大學段德君:大數據背景下的高校數據治理實踐分享

發布時間: 2017-12-11 16:29:04   作者:本站編輯   來源: 本站原創  

段德君(華中農業大學 現代教育技術中心副主任)

 

各位領導,信息化同仁們,大家上午好!


很榮幸受到組委會邀請,代表華中農業大學跟大家一起探讨大數據背景下的高校數據治理實踐。我的報告分為三方面,首先簡要介紹我們學校以及信息化建設情況,然後再分享在智慧校園背景下我們對數據治理的思考,最後談一下我們的探索和成效。



華中農業大學是教育部直屬的國家“211工程”重點建設大學,迄今有119年的辦學曆史,其前身是清朝光緒年間湖廣總督張之洞1898年創辦的湖北省農務學堂,是我國高等農業教育的重要起點之一。

 

在長期的辦學實踐中,形成了自己的辦學思想和文化。

  • 辦學理念:育人為本,崇尚學術

  • 辦學精神:勤讀力耕,立己達人

  • 辦學風尚:團結勤儉求是奮進

  • 辦學模式:圍繞一個領軍人物,培植一個創新團隊,支撐一個優勢學科,促進一個富民産業

  • 辦學方針:局部創優勢,整體上水平

  • 辦學策略:學科交叉,包容整合

 

目前全日制在校生有26000多名,教職工2600多名,形成了以農科為優勢,生命科學為特色,農、理、工、文、法、經、管、藝多學科協調發展的格局。在今年雙一流評選中,我們有5個學科入選雙一流學科名單。按照學科數來說,我們在全國高校裡排名第21位。學校也獲得了一些研究成果,為經濟社會的發展作出了自己的貢獻。


華中農業大學信息化起步比較晚,1999年才開始進行網絡基礎設施建設,經曆了數字化校園到智慧校園的階段,2016年進入智慧校園建設階段。領導們比較重視信息化建設,成立了信息化領導小組,校長和各個職能部門的領導都參加了信息化領導小組。我們現代教育技術中心主要負責信息化的規劃和實施,今年專門成立了信息服務部,就是為了智慧校園建設。但我們人手很少,編制内隻有15人,編制外16人。


十三五,學校把信息化作為一個發展戰略,跟人才強校戰略一起,列為六大戰略之一,專門制定了信息化發展規劃,在規劃裡我們主要進行四大環境建設和一體系建設。為了完成這個任務,我們也形成了自己的建設思路。

  • 整合一張網——規範校園弱電管理

  • 規劃一朵雲——建設雙活數據中心

  • 構建一平台——智慧校園服務平台

  • 完善一體系——網絡與信息安全責任體系

  • 疏通一點痛——啟動數據回溯與治理

 

下面談一談我們在智慧校園建設背景下數據治理的思考。

主要有以下三點思考。

第一,  如何提升師生的獲得感:看得見、摸得着、用得好

第二,  數據治理決定智慧校園的基因型

第三,  平台化服務是智慧校園表現型


在建設看得見的智慧校園這塊,要做到高速暢通的網絡可能比較容易,但是随時随地的信息獲取和方便快捷的服務就必須要有數據作為支撐。

 

在平台化服務這塊,要把它做好确實不容易。


以前,所有的管理系統基本上都是由職能部門自主建設,沒有統一的标準,每一個中标公司都根據自己的标準來建設,所有的服務基本也是跟管理、系統緊耦合,都分散在各個系統裡,老師要進一個系統,登陸名密碼都要自己弄,非常麻煩。


現在在智慧校園環境下,是要做一個平台,讓師生包括管理人員重新梳理全業務流程,在平台上展示所有的服務,尤其是跨部門的服務,以提升用戶體驗。要實現這個效果,必須打通部門壁壘,要從管理為主轉變為服務為主,從系統建設為主轉變為數據支撐的服務提供為主。這個平台表現得怎麼樣,要取決于數據治理的成效怎麼樣。

 

現在大家都已經有共識。

  1. 數據資産已經成為學校的戰略資産,需要有效治理、深度挖掘、充分利用、實現增值;

  2. 以資産管理理念引領數據治理工作。數據治理是技術與管理相結合的一套管理機制,貫穿在數據管理的過程中,需從戰略、機制、專題和實施多維度完善數據治理體系;

  3. 建立面向對象的業務數據整合。

 

構建大的平台,以上是我們目前建設的平台。

 

在平台基礎上,還要進一步提升,從傳統的三大平台真正提升到五大服務平台,即面向師生和管理者的服務容器平台。目前是三位一體,有PC端,手機端和微信端的服務門戶平台。這個門戶平台要接上我們的所有應用系統,然後我們提供的所有微服務在這裡,有辦事流程,有消息提供等等。這些都是由身份認證權限所支撐的,最底層就是數據治理和交換。

 

下面談一下數據治理的探索實踐。

 


2015年,我們開始探索是不是可以部署大數據,給領導提供一些管理服務方面的支撐。實際上部署之後發現,反而結構化數據的問題很大。業務系統分散建設,沒有統一的标準,數據量也很少,業務部門隻針對他們有用的數據做了一些維護,也不一定準确,數據孤島比較嚴重,數據流向也沒有明确的規劃,數據質量也非常差,心裡沒底。

 

結果就是數據資産根本傳承不了,即使你掌握了數據,但心裡沒底,不敢用,因為不知道他到底準不準确,權不權威。通過與多家公司溝通交流和解決方案的對比,我們後來選擇了聯奕公司作為合作夥伴,他們的理念、工具、平台等都比較滿足我們的要求。 


這是我們的大數據平台總體架構,右邊是數據治理建設的總體架構。

 

我們的建設思路主要是基于微服務架構,以大數據和互聯網架構的智慧校園平台結構為基礎,對現有數據中心進行全面升級改造,構建全新的高校數據中心軟件平台及數據治理體系。

  1. 形成統一、全面的高校教育信息标準

  2. 實現不同部門或單位的業務協同和信息融合

  3. 形成數據資源池,構建全校資源主數據、共享數據、數據倉庫、數據集市

  4. 讓數據統一定義、統一管理,快速查看、快速定位

 

我們落實了數據治理體系,這個體系也是聯奕跟我們一起商讨後提出來的。在有信息标準,交換平台、元數據和質量監控這四個方面,最後形成我們的數據資源池。

 

通過半年的建設,聯奕公司投入了大量的人力物力駐場服務。首先要做最難的一件事,就是17個主要應用系統的數據字典整理,9000多張表,工作量非常大,整理出來比較實用能用的表也超過1300張。然後在此基礎上,按照國标、行标以及校标,來形成華中農業大學的信息标準集,目前為止已超過1600個信息子集。


右邊是信息标準建設管理平台,可以面向開發者、管理人員、一般用戶提供可視化的即時查看功能,非常方便。之後,我們才有了結構化數據的統一标準,有标準才好遵循。

 

這是主數據平台模塊,一方面是數據交換,另一方面是數據倉庫。主數據平台建好之後,可以對業務數據和數據倉庫進行全局的管理,數據流向也基本通了,我們現在已經實現了各個應用系統和數據中心雙向握手,業務系統産生的數據提供給數據中心,需要其他系統的數據,也從數據中心獲取,所以也在建設過程中考慮了數據共享的共享庫。目前這個平台已經搭建完成,數據正在清洗、轉換和轉載的過程中。

 

這是元數據場景。

  1. 統一定義

  2. 數據流程統一管理,破解蜘蛛網

  3. 影響分析、血統分析助力管理

  4. 覆蓋全校所有的各個資源環節,重塑數據資産

  5. 快速搜索對象

 

這是我們數據治理的流程展示。從各個業務系統抽取到前置庫,經過信息标準對比,來清洗轉載到權重庫裡,權重庫裡的數據跟業務系統的數據可能字段一樣,内容一樣,表現方式在各業務系統不一樣,但是,标準化之後,在權重庫就是一緻的。數據同時也進入到共享庫,通過服務總線向各個業務系統提供數據服務。沉澱下來的數據進入曆史庫,數據倉庫,形成不同的數據子集,也為大數據平台提供分析和展示的基礎。

 

數據質量報告非常重要。現在給大家展示的是靜态的質量報告,對系統、表格、級别等進行可視化展示。通過對數據質量做動态的監控,特别是單一來源數據,要進入共享庫的數據,要給其他系統提供數據共享,這類數據是不是符合要求的,這是非常重要的。質量監控平台可以自定義配置規則,支持非空、值域、數據範圍、正則式校驗,還有數據波動、平衡、自定義等等。配置這些規則之後在後台進行質量分析,最後進行質量告警,告警之後我們可以通過消息平台及時發布到應用系統或者應用系統的管理人員,對數據進行維護。這樣就可以始終保證我們的數據精确、完整。

 

這是聯奕公司為我們做的質量可視化場景。

 

後期,我們将更加廣泛地采集和完善數據,不斷優化分析算法和模型構建,對數據流做規劃,加強管理貫徹并實施好規劃異常重要,要豐富數據治理的可視化方式,提供移動端等數據支持,不斷完善數據服務和應用,如一表通、網上服務大廳等,讓跟多部門直接參與數據分析,充分挖掘數據價值。

 

通過系統建設,我們在體制機制上也有一些變化。比如我們現在就要求各個部門在新建系統或者系統提升改造時必須要遵循我們的信息标準,必須要明确與數據中心的數據交換雙向流動,哪些數據是單一來源必須有的,必須通過數據治理,還必須進行安全的質保。

 

以上是我們一些不成熟的探索,歡迎大家批評指正!


(以上内容為現場實錄,略有删減。)