如何保证企业数据的质量

申请免费试用、咨询电话：400-8352-114

解决数据仓库中的数据质量问题需要技术手段，也需要管理手段，还需要决策层给予充分的支持，从而在技术与业务互动中逐步解决数据质量问题。

企业信息化的浪潮正如火如荼，电信、金融、石化等大型企业迫于市场竞争压力纷纷实施数据仓库项目来提升竞争力。数据仓库项目实施的难题之一就是企业的数据质量，在某种意义上讲，如果企业能妥善地解决数据质量问题，数据仓库项目就已距离成功不远了。

企业数据质量问题

数据质量问题的表现形式非常丰富。典型的有数据遗漏、数据错误、多义字段、矛盾值、违背业务规则、主键重复、无法关联、没有意义的默认值等。那么数据质量问题是如何产生的呢？尽管该问题的出现与过多的系统和数据库有关，但数千个文件和数据库中不受控制的数据冗余以及数百个系统中不受控制的程序冗余才是真正原因。产生数据问题的原因可以归结为以下几个方面:

管理因素：各个部门独立设计自己的应用系统，业务定义相互冲突。

系统因素：例如某些应用程序测试不充分，不断产生错误的操作型数据。

数据迁移因素：业务系统更新后，会增加、删减或修改部分旧的业务规则，在将老数据迁移进新系统后，可能会引入缺漏、错误、无法关联等遗留问题。

输入因素：比如前台数据录入可能造成数据质量问题，有的前台柜员为加快柜面办理速度，对于客户开户时提供的家庭电话、职业、地址等信息并不做检查，这会造成操作性数据的信息缺漏、错误等问题。

接口衔接因素：有时业务系统之间交换数据时接口Bug也可能引入脏数据。

其他因素还包括客户通过网络办理业务时，基于隐私信息保护的心理，也可能仅仅填写必需项或者随意填写，对企业而言有用的大量信息是空白或者不合常理，这也会造成信息缺漏或错误数据问题。

保证数据质量的方法

数据质量问题是全企业的事情，需要使用管理手段和技术手段相结合的办法，通过摸索实践，逐步建立一套完善的组织、流程、制度，持续地改进企业数据质量，最后解决这一问题。

1.解决数据质量问题的方法

一种方法是在数据源系统中进行解决，修改产生问题数据的应用程序和源系统中的错误数据。这种方法比较彻底，但修改应用程序需要较大的工作量，周期长，还需要管理层的允许，而且在多数情况下，在源系统中改动大量应用程序不具可行性；另一种方法是在数据的抽取、转化与清洗（ETL）阶段进行解决，可以仅对有问题的数据在转换时进行修正，这种方法不需要改动数据源系统，简单易行，周期短，缺点是无法彻底消除有问题数据的持续产生,而且ETL附加的转换逻辑会比较复杂，累积的开销也很大。

2．解决数据质量问题的关键环节

一个是在项目初期设立数据质量问题资料库，对数据质量问题进行跟踪记录，从问题开始暴露到解决方法提出、问题得到解决的全部过程都应尽量包括进去。企业业务人员和管理人员将根据资料库中汇总的数据质量问题出现位置、发生频次、影响范围、清理开销等来更好地认识企业的数据质量情况，相应地合理分配企业资源来支持。

其二是建立集中管理和控制的ETL平台，因为这样就能够在转换过程中执行统一的问题清理策略。

另外就是利用数据仓库提供的单一企业视图，这能够有效地发现数据质量问题，对数据质量的提升进行跟踪、评估反馈。

寻求组织支持

解决数据质量问题是整个企业相关的，具体体现为数据清理，但是清理什么、不清理什么、清理到什么程度、什么部门执行则是业务与管理的问题，这个过程需要强有力的组织支持，因为跨部门协调以及执行清理动作往往需要横跨企业的强制力。这就需要设立专门的功能组织来推动。

建议解决数据质量问题应建立如下功能组织：数据质量管理组、业务咨询委员会、技术咨询委员会、数据仓库项目组，这些小组既可以是全职也可以是兼职。数据质量管理组包括：数据质量分析员、业务联络人或者业务代表、数据管理员、技术支持人员。业务咨询委员会包括业务部门领导和管理人员；技术咨询委员会包括技术部门领导和管理人员；数据仓库项目组则是负责建设企业数据仓库的人员。其中数据质量管理组是重要的组织，处于核心位置。

总之，企业数据质量问题的解决是一个长期的过程，业务管理部门与技术部门需要充分的沟通与协作，一起配合数据质量组织，共同建立一套有效的解决数据质量的组织、方法与流程，彻底解决数据质量问题。 (ccw)