互联网

京东数科大数据技术负责人桂宇:数据中台助力企业数字转型

来源:艾瑞网    作者:艾瑞网      2019-12-05

导语:数据中台的核心技术能力主要是数据整合能力、数据治理能力、数据服务能力、数据生态的构建能力、风险管控能力、以及数据资产化的能力。

【艾瑞网 直播】2019年12月5日,艾瑞峰会上海站开启,本次峰会以“数能驱动新变量”为主题,聚焦智能创新与产业融合,多角度解析未来发展趋势,以及创新融合带来的新机遇。聆听行业领军人物思想的交流与碰撞,从不同视角丰富自己,探索未来发展之路。

以下是京东数科大数据技术负责人桂宇发表题为“数据中台助力企业数字转型”的演讲实录。

桂宇.jpg京东数科大数据技术负责人桂宇

我今天介绍的是三个方面:第一,数据中台的发展现状。第二,数据中台建设的实践。第三,数据中台在多场景化的应用。

这次主办方艾瑞提供的研究分析报告说的就是数据中台市场规模和未来的预测。2018年的市场规模差不多是22亿左右,到今年就有了成倍的增长,并且预测未来三年会有一个年平均72.1%的复合增长率,说明在数据中台领域里还是有很大的市场空间可以挖掘。

空间会很大,必然会有更多的企业去关注数据中台的建设,从艾瑞提供的这份分析报告里可以看出,从2017年的6月份到今年的6月份关注的指数分别从1.6、2.4到今天的2.7和3.3,这是当前的企业对于数据中台的持续关注所带来的指数增长,表示现在的容量和潜力还有很大的空间可以挖。

在当前的阶段,各大主要的互联网公司都实现了自己的中台战略,但是相对一些中小企业,或者偏传统的企业,可能在这方面相对要滞后一些,这是当前数据中台的现状介绍。

第二方面是数据中台的建设实践。数据中台在我们企业里算是数据处理的核心,底层依赖于云服务的资源和技术中台作为PAAS层通过大数据的离线平台、实时平台以及机械学习的平台这种低偶合高类聚的技术,去实现数据的抽取加载到数仓和集市的数据中心,并且以大数据的基础平台对我们的业务系统提供数据的查询和读取的服务,并且以服务的平台面向我们的场景进行数据的赋能,这是我们数据中台在公司中的战略定位。

数据中台可以实现核心的定位来源于下面八个核心技术能力:

第一,数据整合能力。整合全域数据的,并且进行ETL到数仓、数据集市形成统一的数据视图面向集团的管理层、分析人员、开发人员去使用。

第二,数据治理能力。在如此大规模的情况下,数据治理始终伴随着整个数据生命周期的每个阶段,要实现的目标就是方便数据的有管理,方便读取,方便应用以及可视化。

第三,数据服务能力。通过丰富的算法模型以及环境的支持,对上层的业务提供基础的数据服务。

第四,数据生态的构建能力,整合内外数据进行联合建模跨域学习,实现数据内外相互的赋能,深度挖掘数据现有的一些价值。

第六,工具和平台方面的能力。通过智能产品和平台的服务去赋能实现企业的降本增效。

第七,风险管控能力,,当前法律法规的情况下对于数据的管理越来越严,如何防范数据的泄密,怎么做到数据的一些安全管控,这除了依赖于政策和制度以外,还需要相应的制度手段,在风险管控方面我们做了很多的技术,相应的平台和服务措施,确保我们数据领域里是安全的。

第八,数据资产化的能力。就是实现数据的保值增值,实现数据资产化运营的重要基础。

说到数据资产化,这里有三个方面,第一是最基础的,对于现有数据的梳理和盘点,但是仅仅盘点是不够的,需要对现有的数据进行有效的评估,正确评估现有数据的价值。从而为运营的参考依据,使运营充分利用数据的价值去挖掘数据一些潜在的关联关系,从而对外面实现各种场景的赋能。

下面以快消领域的案例进行说明,就是通过人、物、场进行标签画像,再结合社交里提出的数据进行联合的商业分析去挖掘数据潜在的价值,这是数据中台工具箱里可以提供相应的产品和一套解决方案的流程,这里面就会涉及到标签画像、AI平台等等。

我们对于中台的定位目标就是想对数据中台里存在的数据能够实现在餐馆点菜一样方便去快速的查找和拿到我们想要的数据,这就是一个去方便专家更加贴心,更加快速,更加准确的去找到自己想要的数据,从而进行相应的数据分析和挖掘。

这是数据生态的构建能力,结合内外的数据进行划域整合,在数仓里进行规范化,DPL面向集市的应用。通过开放的平台和数据的接口,向外面的一些场景去进行赋能,或者提供数据的一些读取服务。

同时也将我们的数据资产创造更多的试验环境,包含三个方面:结合现有的数据沉淀相应的解决方案。识别数据的服务去圈出适应的一些业务场景以及潜在的增长点,并且通过大数据的分析去定位未来的需求点在哪里。

最后是数据中台在多场景化的应用,京东从2008年到现在经过多年的发展,已经沉淀了非常丰富、非常高效的、有价值的一些技术,根据我们公司的战略,未来我们公司会对外进行产品化、技术、数据对外的赋能。因此我们现在正在走在这条路上,并且取得了一些丰硕的成果。以我们数据中台为例,我们在很多的行业都有落地的实施,包括互联网、零售、物流、保险、证券、能源等等大数据的风控、精准营销、精准用户管理、统一视图、实时监测、资源配置等方面会有相应的一些落地案例。

第一个是在信贷领域全场景的风控需求,我们的风控数据来源主要有三个,第一就是行政司法的信息,第二是央行征信的信息,第三是信息领域构建的一些信用数据。比如在我们内部,京东内部的数据规模大、链路长、种类全,覆盖物流、零售、金融等等方面的数据,构建出用户的评分模型,去指导或者赋能信贷领域的场景。在贷前、贷中、贷后去做相应风控的管控措施。

比如在贷前通过人机的识别、信息的核验,在贷中进行欺诈的识别,进行异常的检测以及在贷后出现延期等等去做基于图的案件关联、分析和调查,这是在风控领域全场景应用的具体案例。

这是在精准营销方面,零售离不开推荐和营销,每年的双十一、618大促都会有基于数据分析去做实时的分析和推荐,提高转化率,提升GMV。

具体体现在基于用户的画像去做人群的定位,进行个性化的挖掘。

第二个是基于实时的画像系统,再结合用户在商城上以及与我们在京东领域的保险、理财产品上的实时行为进行实时数据的分析,从而去动态的推荐相关联的产品或者业务,从而提升数据的转换力。

第三是交叉的运营,我们以汽车金融行业为例,我们在这里面比如做了一个汽车金融的放贷,我们会通过这里面去构建一些场景之间的关联关系,以图的运算能力和关联的处理方式去识别它在站内运营好还是站外运营好的场景化应用。

第四是客户生命周期的管理,任何事物都是有生命周期的,客户的存活生命周期也不例外。怎么样才能保证这个用户在整个生命周期里不至于消亡,就需要我们在生命周期的每个阶段去做相应精准的营销,从而保持用户在使用产品上的鲜活度。

这是数据中台在某一个具体下沉市场的画像解读,我们之前的案例简单可以概括为基于基础的数据信息去做联合的分析,从而识别出现在的市场存量,并且可以从中去识别出一些新生儿增多尿不湿的关注、奶粉的关注判断出新生儿要出生,或者已经出生了,然后去做一系列婴儿父母的人群画像,用于市场的分析。

具体的体现是在市场容量、人群的优化和定位以及营销上的案例分析。

这是我们数据中台在用户分层的解决方案,就是基于用户的几个生命周期去基于每一个阶段构建用户的分群,再结合我们的APP、WEB端去识别他们的行为,从而去促进,比如拉新、促活、引流等等相应的行为分析,实现去做用户洞察,深度挖掘用户的性质以及价值。

这是我们数据中台在数据分析和可视化方面的一些产品和应用,这里面会涉及到PC端、APP端以及可视化的大屏。

举个例子,前不久我们京东推出了自己的峰会,里面有一个宏观人口经济分析,就是基于可视化的平台进行展现和做底层的探索分析,并且还在持续的迭代过程中,并且像这样的产品在我们内部的大促、重点指标以及CU关注的看板上都有具体的应用。

这是我们针对一些拥有海量数据的企业去帮助他实现数据资产化的管理,这里面包含形成数据地图,形成相应的数据治理工具以及去判断平台里数据的生命周期和数据质量的维护,这是我们在数据资产管理方面的视图截图。

做了一些实时营销以及实时推荐离不开底层实时平台的支持,实时技术的平台其实也就涉及到三个方面,比如从平台价值来说,数据、技术方面。

现在对于数据的实时性要求越来越高,晚一天就相当于有可能会带来不可估量的损失。在数据的处理方面,实时的数据实际上相对于增量的数据,怎么样去挖掘更大范围的价值是需要做这种实时加离线的结合。

第三,技术方面实现统一的平台,满足于内部各业务部门统一使用,统一接口以及统一的模式具体用途。平台的特点是简单、高效、稳定、准确。

场景的应用上有数字化的运营、智能实时的推荐以及实时标签的建设,标签画像是前端业务系统实现高价值转化非常重要的产品,底层的实时标签构建依赖于底层实时的平台。

另外就是数据中台在支持多领域的监控场景里具体应用就是监控舆情,现在一些热点的事件如何能快速的抓取、识别,并且启动相应的公关、应急方案,也是依赖于实时的场景去达到这样的效果。

数据中台在内部的管理方式上,资源管理这块会涉及到硬件、软件、计算、存储、应用、作业、服务等方面的统一管理平台,这里面涉及到一些具体的技术,其中一部分是我们自研的,一部分是基于开元去做的改造。

外部中台助力监管机构,某中央的监管机构去实现上市公司私募,包括还有一些会计师事务所的风险传导,还有恰在的关系挖掘,这里面用到了数据+图计算的能力。

数据来源于工商和司法的一些比较高价值,而且准确的数据,再结合图平台去做相应的分析,达到对于企业的画像,关系图谱的构建,从而去识别风险,并且对这个企业的信用进行评估。

这是面向政府机构,我们在智慧城市这块的应用,底层是城市操作系统,这里面包含时空的大数据平台,再结合数字网关,也就是联合建模、跨域学习的联合内外多方数据进行联合分析、联合建模的工具或者平台,然后去支撑上层的相关城市方面的产品具体应用,再往上的场景是构建城市的画像,实现信用城市的一些评级,助力AI+产业的发展,智慧停车以及治理拥堵、治理污染方面的具体应用,甚至还有在工业化的具体方面,比如电力方面怎么样进行节能高效。

基于数据中台进行延伸扩展的创新服务合作模式,比如构建数据联合的实验室,这跟上海会有一个合作,现在还没有公布,不久会公布出来基于时空数据结合我们大数据运行平台的能力去做比较高深的一些分析,或者高价值的分析。

实现这种线上线下的融合,这里面包含画像的报告,这里面会涉及到用户的、小区的、楼宇的,甚至是社区的等等方面具体报告分析思路或者方法论,另外是消费的报告,这是对于城市画像的一部分。

京东的物流非常快,快的基础就是基于数据去做驱动,包括这里面会涉及到数据的库房布局,如何让库房智能捕获、调拨预测未来这批用户会买什么提前备货,以及无人物流处理的方式上,全程是基于数据中台的底层数据基础和数据挖掘的能力去支撑物流的智能化,并且现在物流已经开始面向社会现代化的扩展,原来是专门服务于京东体系内的服务。

最后是基于大数据去做行业数据的分析,我们京东也对外做了很多战略性的投资,这里面怎么样去做到精准的投资,保证从资本来说保证不亏,稳赚不赔就要做投前的分析,比如行业品牌的画像,另外是基于投中的监控,信息的实时入驻以及分析,并且做投后的管理包括收益等等方面。


(本文为艾瑞网独家原创稿件 转载请注明出处)
  • 合作伙伴

  • 官方微信
    官方微信

    新浪微博
    邮件订阅
    第一时间获取最新行业数据、研究成果、产业报告、活动峰会等信息。
     关于艾瑞| 业务体系| 加入艾瑞| 服务声明| 信息反馈| 联系我们| 合作伙伴| 友情链接

Copyright© 沪公网安备 31010402000581号沪ICP备15021772号-10

扫一扫,或长按识别二维码

关注艾瑞网官方微信公众号