谈网上审批系统的系统数据质量管理

申请免费试用、咨询电话：400-8352-114

       在企业部署网上审批系统后，往往希望借助这一系统的商业智能优势，通过对数据的分析处理，来获取隐含在数据中的更有商业价值的知识，以此来指导企业开展下一阶段的工作。

       1网上审批系统中数据质量问题分析

       网上审批系统(CustomerRelationshipManagement)也称为客户关系管理系统，其主要功能是通过对大量的客户资料进行深入的分析，来实现缩短销售周期，降低销售成本，提高客户忠诚度和保有率等商业目标。然而决定一个网上审批系统成败的关键，往往就是数据质量的优劣。

       劣质的数据来源不一，通过分析，其原因主要有以下几种：

      ①缺乏验证程序。很多系统没有在初期就对用户的输入等过程提供完整的验证程序，导致误输入等因素对数据质量造成一定影响。

       ②数据格式有效但不正确。往往有些看似有效的数据，但却是错误的。

       ③系统更新。在原系统发生结构性变化时，如果管理员新增加了一个字段或下拉值，但是没有及时通知相关的系统工程师，就会导致一线员工继续使用旧的字段或下拉值去匹配新的信息类型。

       ④系统接口过多。

      ⑤缺乏参照完整性检查。

       ⑥不匹配的规则和定义。

       ⑦维度渐变。随着时间的推移而可能发生改变的维度，也在某种程度上影响着数据质量。

       由此可见，数据质量受到来自多方面的影响，并且随着公司业务集成到网站中，并允许客户和经销商直接操作数据，而更加与日俱增，因此制定一套行之有效的管理方案迫在眉睫。

       2数据质量管理方案

       DEMINGW.E在其质量管理的十四要点中指出：“质量不能仅依赖于产品的检验，检验不能创造价值，只能将次品挑出来。”根据实际工作情况来看，往往当我们检查出脏数据时，它已经大量的存在于数据库中了，检查的成本高而效益低。要采用事前预防的方法，从一开始就将质量融入到数据中，以降低脏数据的发生率。

       在实际项目中，将数据质量的控制在宏观上划分为了三个阶段，参见表1：

       表1数据质量管理方案规划

      由于第三阶段属于数据挖掘范畴，是在建立了准确，完整的数据库基础上实现的，暂不属于本文讨论的范畴，所以我们重点关注第一阶段和第二阶段的实施。

       .1数据质量规划阶段

       完整的信息架构在数据质量管理中占据着重要的位置，这个架构一定是针对业务规则建立的，且能够灵活应对将来可能出现的业务规则或数据流变更。

       信息，简要的说就是数据和知识。信息架构的工作在本质上就是将一些数据转化为我们可以直观的理解的知识，或者将我们获得的知识转化为数据，一边可以传递，再利用。它应当是兼具两者的设计过程。大体上应该包含三件工作：

       ①架构设计：首先我们要确定系统中信息的单元的大小，并决定这些单元之间的关系。

       ②组织方式：将这些组件组合成有意义的，具有特色的类别。也称为逻辑分类。

       ③标记：将上一步得到的分类用一个唯一的标签来命名。

       设计过程的初期要通过有引导性的客户调研工作理解用户需求，寻找分类的趋势，完成信息架构UML图的初稿，这里应该进行至少两次的分别从上到下和从下到上的梳理过程。之后就是情景模拟的测试过程，并且要让用户也参与进来，否则这个测试过程就失去了其本身的意义。企业的信息化过程中要引入数据质量管理平台，以管理企业数据流，并成为企业各个子系统数据交互的中心，同时在各个层次上对数据质量进行监控和管理，以建立统一的企业数据模型，形成企业统一的视图。

       信息的安全性管理不但包括我们熟知的密码管理，用户权限分配，服务器端防火墙的设置等网络安全工作，还应特别注意外部数据的来源，是否为可信数据，数据质量是否符合系统的标准，此处要对导入程序做严格的检查，宁肯放弃一部分数据也不能导入潜在的脏数据或无效数据。

       2 .2数据质量控制阶段

       设计质量，即我们上面所说的质量规划阶段，其目的是要收集质量需求并将它们转换为一套标准来执行。接下来的执行过程中，就存在着数据质量控制的问题。上面一节已经讲过当前常用的评价数据质量的观察点，在本项目中，宏观上从三个方面来看：可信性、及时性、可用性。

       检测数据可信性的一系列规则都是要基于依赖性和现实世界的一致性的。他们可以用于定义数据的语义约束；区分静态，暂时的，或是动态的约束；并且可以指定属性、原则、关系或是整个数据库。所有这些类型的约束都是在假设数据的某些性质不依时间的变化而变化为基础上提出的，以便提供一个稳定的数据集用来与其他数据作对比。