汇海BI数据质量管控解决方案

1 概述
1.1 方案背景
随着企业信息化建设的全面展开，各种业务系统在企业的运营和管理等方面扮演着越来越重要的角色。系统中存储的大量数据已经成为企业继“人、财、物”后最具价值的企业资源。企业对数据的依赖程度也在加大，数据质量的好坏直接关系到信息的准确程度，也影响了企业的生存和竞争能力。因此，数据质量作为影响管理层决策正确性的基础元素，已经越来越多地为企业领导者所关注。
但在长期的系统维护和使用中，各系统中的数据因存储分散，时常导致共享困难，并且在各系统数据展现时也容易出现不一致的情况，“数”出多门。这些数据不仅严重影响了目前对企业经营质量分析、客户质量分析、客户群细分等工作的开展，而且对今后各业务的市场拓展产生潜在的影响。著名市场调查公司Gartner在调查中显示，导致如商业智能（BI）和客户关系管理系统（CRM）这些大型的、高成本的管理信息系统方案失败的主要原因就在于企业是根据不准确或者不完整的数据进行决策。
因此在企业整个组织以及服务商、供应商内部，应建立科学有效的数据质量管理系统，对组织的数据质量实施全程、全域和全员的管理。将数据质量管理以制度化、规范化的方式落实到数据生成、传递和使用的各个过程、方面和人员之中，将会成为下一阶段企业信息系统建设中的一项重要工作。
1.2 客户面临的挑战及问题
在企业的信息化运行过程中，有些数据质量问题是不可避免的，这主要是由如下原因引起的：
 数据源问题
(1) 由于多个生产系统相对独立、缺乏统一的规划，必然导致数据的不一致性
(2) 由于业务系统建设时往往缺乏数据质量意味，因此在数据源本身存在大量的脏数据和噪声数据
(3) 数据存在人工操作的情况，导致数据间的不一致性
(4) 不同数据源由不同的部门管理，各部门对数据的关注角度不同也会导致数据粒度、名称、表达方式上的多样性
 数据抽取时间点问题
(1) 由于生产系统的数据是随生产而变化的，在不同的时间点进行数据抽取的数据是不一致的
 业务规则问题
(1) 生产系统的不同版本间对数据的处理规则不同，导致数据的不一致
(2) 各分公司市场政策的差异也会导致数据缺乏参照性
(3) 同一产品、业务在不同生产系统的业务处理规则不同，导致数据的不匹配
(4) 各系统的编码规则差异很大，导致数据难以核对
 统计口径问题
(1) 各系统之间的指标体系、编码规则及分类口径不一致

典型的，系统的数据质量一般包含如下情况：

存在空值  错误的值  重复记录  数据格式不正确  数据粒度不一致  错误的计算规则  数据间缺乏参照完整性  不同的统计口径  命名规则不同

2 方案介绍
2.1 方案设计目标
 实现数据的自动化加载
 实现一套完善的数据稽核规则
 生成完整的数据质量报告
 实现对数据提供方的绩效考核
2.2 方案总体框架
企业数据质量管控总体框架图如下图所示：

                                   辅助决策支持系统建设 业务系统数据质量考核

4 方案应用价值

传统的数据质量管理主要强调数据的准确性，即数据本身的完整性、准确性和一致性等，而本方案的数据质量管理除了数据本身的准确性之外，还强调：
 数据的时效性
强调数据应及时推送给客户，即使准确的数据如果不能让客户及时获取，也对决策没有价值。
 数据的有效性
推送给客户的数据应该是经过挖掘和加工的，是对客户有价值的信息。

只有满足了数据的准确性、时效性和有效性，这些数据才真正能够为企业的管理员所利用，并依据这些数据做出正确的决策。