如果放在十年前,数据仓库的搭建毫无疑问完完全全是开发工程师的活,新西兰电话号码列表 随着业务的发展与细分,对产品经理提出了更高的要求,特别是数据产品经理岗位的出现,产品经理懂技术已经是大势所趋。 今天我们就来聊聊搭建数据仓库都有哪些工作流程,以及数据产品经理在各个流程中扮演的角色。 01 数据仓库的重要性 1. 为什么要搭建数据仓库 这个问题翻译过来就是,数据仓库能给我们带来什么价值。 想象一下,有一天你需要分析一下某个地区哪种商品卖的最好,新西兰电话号码列表 这时候是不是要通过层层审批,审批完成后开发在各个系统中通过接口导出数据,新西兰电话号码列表 估计这时候已经过去了几天时间,所以这个效率是非常低下的;而有了数据仓库,我们就可以自助取数、分析。 数据仓库起到的作用就是:汇总数据、整合数据、加工数据并最终输出能力。 2. 数据产品为什么要懂数据仓库 数据仓库最终是要赋能的,而赋能则需要结合业务,新西兰电话号码列表 开发工程师往往不关心具体业务,所以完全交给开发工程师开发出来的数据仓库可能不能很好的支持业务;这就需要数据产品经理参与进数据仓库的开发中,而参与进来就必须要懂数据仓库。 02 构建数据仓库 数据仓库的基本架构如下图: 数据产品经理如何推进数据仓库的落地 1. 数仓需求分析 数据产品经理在接到数据需求后,需要分析这个需求能不能实现,怎么实现,需要哪些资源;针对需求进行统筹规划,新西兰电话号码列表 避免为了实现特定需求而开发,尽量提供更丰富的数据以满足不时之需。
2. 数据源梳理 数据源的梳理也是数据产品的一个工作,新西兰电话号码列表 需要梳理出整个公司内都有哪些数据源,并争取到数据源对应持有者的支持,了解数据源的格式以及含义。 常见的数据源有ERP系统、CRM系统、支付系统等等内部系统数据,以及产品埋点的行为数据数据,也可能有一些外部的文档数据。 3. 数据同步汇总 取得数据持有方的支持后,新西兰电话号码列表 将各数据源同步到数据仓库中的ODS层,该层和源数据是同构的,即在ODS层将数据源的数据原封不动的存储起来,以便后续追溯数据问题;这一层数据粒度是最细的,而且这层的数据保存时间最久。 4. 数仓建模 数据仓库的设计模式分两种:自上而下、自下而上,两种模式对应的方法论分别是Inmon模式和Kimball模式。 1)Inmon模式 Inmon是一种自上向下的设计模式,即先构建数据仓库再从数据仓库中衍生出数据市场。 数据仓库的数据来源往往是异构的,不同数据源对应不同规则的数据清洗,新西兰电话号码列表 必须先通过ETL将数据进行处理才能放入数据仓库层,再根据需要组合数据输出到数据集市层。 新西兰电话号码列表 Inmon是以数据源为导向,而数据源会经常变化,所以相对于维度建模,实体建模更适合Inmon。