敲黑板丨5个维度规划新一代高校数据服务平台建设
三盟动态    2019.05.23    来源:三盟科技    点击:7358

导语

数据服务平台是大数据时代的必然产物,是支撑学校数据管理的基础,是以“统一标准”、“统一处理”、“统一交换”、“保证质量”、“透明开放”的方式,为不同业务系统、不同数据库、不同数据格式之间进行数据交换而提供服务的平台。



它包括数据治理与数据共享交换,通过一套科学数据管理方法,对学校各业务域分散、重复、混乱的数据,进行梳理、建模、整合、评价、控制,制定数据标准和工作规范,提高数据合规监管和安全控制,对数据从产生、处理、整合、应用、销毁等全生命周期进行管理,从而建立高质量的数据管理体系和统一的主数据库,支撑各相关业务高效运行,实现学校管理者方便、安全、快速、可靠地利用数据进决策,因此做好数据服务平台建设的工作很重要


那么

在实际建设过程中,

数据服务平台

应该重点考虑那几个方面? 


 划 

 重 

 点 



1、如何选择稳定的系统架构?


目前市场上,很多厂商提供的数据治理或者共享数据交换平台,以ODI和Kettle工具居多,并且通常都是单机模式部署,但是随着任务量增多,就容易出现瓶颈,跑出问题,数据治理出现误差,反而不能提高工作效率。


因此,数据服务平台应是基于《信息资源目录》的分布式服务(datax,spark),将学校信息资源依据规范的数据描述,按照一定的分类方法进行排序的一组信息,用以描述学校各个信息资源的特征,以便于对全校信息资源的检索、定位与获取,为学校数据共享提供支持与指导,datax,spark彻底解决了ODI和Kettle单机模式下的瓶颈问题。


2、如何有效减少人工运维量?


传统的数据治理与共享连接方式,需要将数据采集到中心库统一供数,极大增加运维工作量。

 

数据服务平台的连接方式则依托数据项的组合进行资源目录的发布,实现任意两点的数据同步,并在同步过程中执行治理,实现的数据联动,快速反应。


3、如何有效促进国标/校标落地?


传统的数据治理或者共享交换解决方案并没有没有明确联动与体系支撑,数据标准跟实际交换数据难以关联,导致数据标准无法落地。

 

数据服务平台国家数据标准与数据项(表字段)进行关联通过数据项与资源目录管理,可将数据治理与数据共享交换融合打通,一套流程,便可实现标准的落地。


4、如何进行有效的全量数据治理?


传统数据治理范围仅对中心库(或称主数据库)内容进行数据治理,数据缺失,无法覆盖全量的学校数据,包括学校归档数据,历史版本数据等。 


数据服务平台允许全量数据(第三方系统数据源)在平台进行注册,并纳入到数据服务体系的治理流程中,重新梳理数据资产,并常态化监控学校现有数据情况。




5、如何解决数据故障的准确定位?



传统的数据申请与数据ETL无法使用统一流程进行集成管理,数据ETL配置页面需要进入原生ODI或Kettle工具进行处理,平台对工具只能进行监控,不能进行管理与任务的联动,导致难以准确定位数据故障环节,极大增加运维工作量。

 

数据服务平台则使用先进的分布式技术,将数据统一集成在一套任务流程下,通过任务监控可以清晰看到数据从采集、ETL、供数等环节的执行情况,实现全流程监控。





 实现数据自治,
打造数据服务生态圈


数据服务平台是智慧校园的重要构成部分,为智慧校园提供了高速可靠便捷的信息通道。数据服务平台,按照“谁主管,谁提供,谁负责”的原则,在数据服务全流程过程中,赋予数据提供方、平台管理员、数据需求方各自承担应有的责任并享有相应的权限,从而达到数据自治的效果,并且吸引各业务相关人员使用该平台完成各种数据调研、数据共享、数据管理等业务,提高平台粘着力,让更多的人员参与到数据的挖掘与共享的生态圈中,实现智慧校园数据价值。







Copyright © 2013-2020 三盟科技股份有限公司.     粤ICP备16073229号    粤公网安备 44010502000640号