3 数据中台之“整”,难点在于数据治理
“整”,汉语对整的解释非常多,《后汉书·张衡传》中有云“整法度”,即整顿法度,所以整字,有整顿、整治、治理等意思,在这里,我们取的也是“整”字,整顿、整治、治理之义。
数据治理是数据资产管理中必不可少的一部分。数据治理兴起于上世纪90年代,但是纵观中国整个发展史,每一次朝代的更替,都是一次数据治理的过程,最近的,清政府入关,“留头不留发、留发不留头”,这就是一场数据治理。再往前,最早的,秦灭六国,始皇帝统一度量衡、焚书坑儒,车同轨、书同文是中国历史上最为彻底的一次数据治理。因此,我们中国人对于数据治理的概念向来不陌生。
1、找差距、定计划
数据治理是一个持久战,是一个持续性的工作;我们需要根据自身所处的现状,来制定近期、中期、长期的战略计划,在整体战略规划中,采取急用先行。
了解近期以及中长期在业务和技术上的策略及目标,特别是与数据治理相关的信息;通过访谈、调研等方式,在内部营造数据治理的氛围、人相关人员在数据治理目标及价值方面达成普遍共识。
根据现实存在的差距与计划,制定符合自身的数据规划。
2、书同文、车同轨:定标准
金融企业的数据标准一般以业界标准为基础,如国家标准、监管机构(如国家统计局、中国人民银行、工信部)制定的标准,结合本身实际情况对数据进行规范化,一般会包括分类、格式、编码规则、字典值等内容。良好的数据标准体系有助于金融企业数据的共享、交互和应用,可以减少不同系统间数据转换的工作。数据标准的制定,要适应业务和技术的发展要求,优先解决普遍的、急需的问题。数据标准由业务、技术、权限等内容构成:
业务:明确所属的业务主题以及业务概念,包括业务使用上的规则以及标准的相关来源等。对于代码类标准,还会进一步明确编码规则以及相关的代码内容,以达到定义统一、口径统一、名称统一、参照统一以及来源统一的目的,进而形成一套一致、规范、开放和共享的业务标准数据。技术:描述数据类型、数据格式、数据长度以及来源系统等技术属性,从而能够对信息系统的建设和使用提供指导和约束。权限:明确数据标准的所有者、管理人员、使用部门等内容,从而使数据标准的管理和维护工作有明确的责任主体,以保障数据标准能够持续的进行更新和改进。
因此,数据标准的制定应从业务数据为出发点。经过详细的数据调研、访谈、设计、评审等标准定义流。;数据标准的制定需以“循序渐进、不断完善”为原则,支撑完整的数据标准创建过程,确保每一个数据标准对应企业的数据需求,做到数据标准有理有据。
3、保质量
数据质量管理是金融企业数据治理的有机组成部分。高质量的数据是金融企业进行分析决策、业务发展规划的重要基础,只有建立完整的数据质量体系,才能有效提升银行数据整体质量,从而更好的为客户服务,提供更为精准的决策分析数据。
1、制度与规范
从技术层面上,应该完整全面的定义数据质量的评估维度,包括完整性、时效性等,按照已定义的维度,在系统建设的各个阶段都应该根据标准进行数据质量检测和规范,及时进行治理,避免事后的清洗工作。
2、金融企业数据质量管理流程
数据质量问题会发生在各个阶段,因此需要明确各个阶段的数据质量管理流程。例如,在需求和设计阶段就需要明确数据质量的规则定义,从而指导数据结构和程序逻辑的设计;在开发和测试阶段则需要对前面提到的规则进行验证,确保相应的规则能够生效;最后在投产后要有相应的检查,从而将数据质量问题尽可能消灭在萌芽状态。数据质量管理措施,宜采用控制增量、消灭存量的策略,有效控制增量、不断消除。
4、数据安全
近年来,欧盟推出了 《通用数据保护条例》(General Data Protection Regulation,简称GDPR)。我国监管层面不断完善数据治理工作,我们不得不将数据安全纳入数据治理的范畴。尤其金融企业从数据获取到数据存储,大量涉及到客户敏感数据,目前主要从数据获取安全、数据存储安全、数据传输安全、数据使用安全层面,通过一定的技术和规章制度来尽可能提高数据安全,比如现在的数字签名、智能合约、物理隔离、通道隔离等技术的应用,安全性会不断提高,但想要彻底消除安全隐患可能还需要很长的一段路要走。数据安全将是金融企业数据治理的一个重点,也是金融企业的科技从业人员将要面临和解决的一大难题。
4 数据中台之“用”,体现在数据服务
“用”,即使用、应用。前面我们多次提到,数据中台让数据使用更简单,数据中台为业务提供端到端的数据服务。数据服务是数据中台资产价值变现的核心载体,是连接前台和后台的桥梁,数据中台能够以服务的形式为前台业务提供端到端的数据支持,支撑数据应用,距离业务更近,可以让业务更快的创新,创造更多的价值。