文本描述
建设数据中台,赋能创新改革 成本效应成为了企业及政府机构数据化的绊脚 石,管理层必须理解,从信息化到数据化再到 应用,必须有强大的技术支持、灵活的政策保 障以及开放的生态支撑,方可马到功成 文/车品觉 以成本效应成为了企业及政府机构数据化的绊脚石。 如今企业都意识到数据是重要的资产,也意识到 信 息及数据的收集及处理自古有之,几千年 来变化不大,直到个人电脑的普及才开始 出现了极其微妙的改变。首先是带动着数 有效数据治理是数据资产化的前提,近年本人在国内 做市政府和一些互联网企业的咨询专家及顾问,都涉 及到如何建立横向的数据治理系统。这个经验最早来 自阿里巴巴,当时在企业飞速的发展过程中,我们发 现数据使用面临着如下挑战: 据化的领先企业包括Google、Amazon、Facebook 及 中国的 BAT, 然后是移动应用和人工智能所引起的智 能热潮。再加上物联网的加入,让我们在不知不觉之 间每天都在生产着数据,甚至消费着数据。可以说, 几乎全民都参与在大数据的生命周期之中。大数据的 组成和几年前很不一样,因为需求的细分及终端的发 达变得越来越零散。同时数据安全的规管也改变了大 家分享数据的形式及难度,汇聚数据的成本正在不断 提高。但是我们都知道大数据的核心价值来自分享, 经过数据的分享增加了预判及还原现实的可能性。所 — 各部门低水平重复开发数据集,浪费大量的 存储和计算资源; — 数据资源缺乏沉淀机制,导致计算能力的提 升和进化非常低效; — 数据割据,算法分离,带来混乱和质量的不 确定性; — 业务变更时,数据及数据产品反应不及时; — 组织架构制约了数据的共建和共享,缺乏标 22 / 新经济导刊 / New Economy Weekly 10/2018 准及激励机制。 繁或者最关键的数据,这些资源有 如生产中所需要的必备部件,可以 经过内部总结发现,数据的“汇 管用”过程中伴随着三个现象特点: 加快生产速度及降低重复性。公共 数字业务变化速度非常快、数据处理技 术及方法都很类似、数据及算法中间层能 产生巨大效能。因此,做好数据治理工作成 为当时笔者在阿里巴巴的主要任务,也随之 诞生了阿里数据中台。 层作为数据中台的核心部分,积累了 最关键的数据资源,同时也是最具备 品质保障的主数据。 简单地看,数据中台有点像一条生产 流水线,从原始数据收集,到提炼成稳定的 生产流程。在这个制作过程中,需要有一套生 产管理流程体系,用以保证数据品质、时效性、 一致性等关键点。但与生产流水线的差别在于, 数据中台不仅需要关注数据生产过程中的效率 问题,中台实际上还具备以下能力:1. 如何收 集数据被消费之后的反馈闭环;2. 解决多源异 构的数据组合的效率;3. 具备业务发生变化时 的快速自适应力;4. 保障数据服务的稳定性。 数据中台围绕数据生命周期的各个阶段(产 生、存储、增强、使用、传输、共用共创、更新、 销毁等)而建立,服务的对象可以是 IT研发者、 数据科学专家、产品经理、分析师、决策管理者 等。使用者会因需要而加工数据,情况有点像石 油提炼一样。而数据生产过程中还有一种极其重 要的数据,被称为元数据,又叫数据中的数据。 对元数据管理得当,就可以让数据在生产过程 变得更精淮、稳定及可被追溯。元数据管理须 记录生产过程中各项数据因素,包括生命周期、 调度情况、品质保障、安全监控、数据字典、数 据血缘关系等。元数据是数据中台的精髓,有利 于数据在生命周期中的监督、成本管理或分摊、 追踪数据价值。因此,一般数据中台的价值体 现可以根据数据开发能否化繁为简作为考核, 进一步理解就是开发成本的节省(第五种能 力)。 无独有偶,企业内的一些数据治理问题,在 各地的政府机构内部也在重复发生。在缺乏顶层 设计之下,数字化步伐都在追随各个职能部门的 发展,数据体系也是基于业务单元垂直积累,从 而形成了烟囱式体系。垂直式数据体系的优点是 紧贴场景反应敏捷,缺点是数据分散、不标淮, 难以共用关联成为合力,大数据价值优势被削 弱。此外,烟囱式数据体系还会造成混乱的数据 调用和拷贝,以及系统功能建设和维护带来的重 复投资,不仅造成人力、财力、资源的浪费,更 重要的是时间浪费以及数据质量的参差不齐! 在目前高速发展的互联网市场大环境下,商机是 稍纵即逝的。 在认同大数据是未来创新核心的前提下,需 要把数据战略的先进性、前瞻性放到优先考虑位 置。否则大数据的能力会随着粗放式运营而变得 停滞不前,沦为有名无实;数据愈乱,建立大数 据的能力门槛愈高,从信息化到数据化的时间节 点都会影响治理难度。管理层必须理解,从信息 化到数据化再到应用,必须有强大的技术支持、 灵活的政策保障以及开放的生态支