数据治理流程是从数据规划、数据采集、数据储存管理到数据应用整个流程的无序到有序的过程,也是标准化流程的构建过程。
根据每一个过程的特点,我们可以将数据治理流程总结为四个字,即“理”、“采”、“存”、“用”。
1.理:梳理业务流程,规划数据资源
对于企业来说,每天的实时数据都会超过TB级别,需要采集用户的哪些数据,这么多的数据放在哪里,如何放,以什么样的方式放?
这些问题都是需要事先进行规划的,需要有一套从无序变为有序的流程,这个过程需要跨部门的协作,包括了前端、后端、数据工程师、数据分析师、项目经理等角色的参与。
2.采:ETL采集、去重、脱敏、转换、关联、去除异常值
前后端将采集到的数据给到数据部门,数据部门通过ETL工具将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,目的是将散落和零乱的数据集中存储起来。
3.存:大数据高性能存储及管理
这么多的业务数据存在哪里?这需要有一高性能的大数据存储系统,在这套系统里面将数据进行分门别类放到其对应的库里面,为后续的管理及使用提供最大的便利。
4.用:即时查询、报表监控、智能分析、模型预测
数据的最终目的就是辅助业务进行决策,前面的几个流程都是为最终的查询、分析、监控做铺垫。
这个阶段就是数据分析师的主场,分析师们运用这些标准化的数据可以进行即时的查询、指标体系和报表体系的建立、业务问题的分析,甚至是模型的预测。
本回答被网友采纳23年二级建造师-新考季备考指导课
精编干货 高效通关
¥1元/科
23年一级建造师-备考资料大礼包
备考提速 精华知识点
¥1元/科
2021一级造价师-密训抢分
密训抢分冲刺
¥0元
2021一消名师100节精品课
超值体验,轻松取证
¥0元
2021年中级经济师-强化进阶体验课
知己知彼,三步破局
¥1元
2022年高级经济师-基础重塑课
基础重塑 高效备考
¥0元
2021健康管理师超值教程大礼包
教程课题一站式配齐
¥39元
四级人力资源管理师-备考指导
轻松入门人力资源师
¥0元
查
看
更
多