Tempo大数据分析平台,数据治理

大数据时代如何做好数据治理?

Tempo大数据分析平台,数据治理


理资产、治数据,一体化大数据治理为什么需要数据治理?大数据不是凭空而来,1981 年第一个数据仓库诞生,到现在已经有了近 40 年的历史,而国内数据平台的建设大概从 90 年代末就开始了,从第一代架构出现,到现在已经历了近 20 年的时间 。1在这 20 年的时间里,国内数据平台实施者受尽折磨,交付数据项目是出了名的脏活累活 。
忽视数据治理给数据平台建设带来了不少问题 。随处可见的数据不统一、数据质量差,以及难以完成的数据模型梳理等这些基础性数据问题已经严重限制了数据平台的发展,与此同时,数据应用在商业上难以崭露头角 。数据治理的难点痛点,归纳有以下几点:数据采集难:数据的形态多样化,给数据采集带来很大难度,使得数据难以汇聚 。数据整合难:数据的来源多样化,很难理清数据之间的关系,进而难以整合 。
数据共享难:数据间壁垒高筑,数据权限不明晰,使得数据无法实现共享交换,难以推进数据的流通 。数据发现难:大量的IT系统,众多厂商的参与,系统间数据标准不统一,很难找到真正需要的数据 。数据使用难:数据涵义不清晰,业务属性不明确,数据难以利用,难以发挥出数据的价值 。数据监管难:少标准、缺规范,难以有效管理数据,难以保证数据的质量 。
【Tempo大数据分析平台,数据治理】2数据治理的对象在 20 余年的信息化建设中,无论是政府还是企业都积累了大量的信息化资产 。这些信息资产,从不同的维度,我们把它分为业务资产、技术资产、数据资产三部分,这些信息化资产贯穿数据的全生命周期 。所以说,数据治理,不仅仅是治理数据本身,而是治理这些和数据全生命周期相关的信息化资产 。信息化资产包括内容业务资产:业务资产指的是业务的术语,业务的规则,业务上的理解 。
技术资产:技术资产存在于业务系统、数据库服务器、文件服务器里面,指的是技术设计类的资产 。数据资产:数据资产指所有的针对于数据库表结构的设计、代码表的设计及其相关数据 。对这三大类资产的管理过程,就是我们常说的数据治理,具备又包含数据的权限责任管理、数据的规则管理、数据的质量管理、数据的安全管理等 。3东软大数据治理一体化解决方案在 20 余年的信息化建设过程中,东软通过诸多行业数据类项目的实施经验的不断积累,从元数据、主数据、数据标准、数据质量到数据处理、资源目录、数据交换和数据安全,提供全面的数据治理解决方案,打通数据治理全流程,为大数据应用构建提供支撑,同时,在各个领域丰富的解决方案实践经验也为项目的成功提供了保障 。
在数据治理的策略上,东软采用先理后治的方案,实现数据标准化、流程规范化、治理常态化、价值可视化、监管智能化的数据治理 。东软数据治理的“理”指的是统筹规划,“治”指的是贯彻执行 。具体到内容上,“理”包括:理系统:梳理已有业务系统、数据库、文件存储等信息,输出数据连接,形成技术资产 。理数据:发掘数据表、文件、视频、图片等数据,描述数据的结构信息,形成数据资产 。
理关系:分析表与表、文件与文件、系统与系统等关系,形成数据资产及资产间关系 。理标准:识别主数据、数据元、代码、术语、规则等,形成业务、数据及管理资产 。理流程:规范上报数据、转换清洗、标准变更流程,明确权责,形成业务及管理资产 。理目录:整理资产清单,按照业务、技术等维度制定目录,形成数据访问同一入口 。具体到流程上,“理”包含三种方式理的目的是为治,数据治理的第二阶段是基于理出的标准规范贯彻执行 。

推荐阅读