银行业数据仓库的应用

申请免费试用、咨询电话：400-8352-114

文章来源：泛普软件 一、  数据仓库产生的背景   数据仓库是伴随着数据库技术的发展及用户对数据加工、处理要求的不断变化而产生的。   在传统的数据库技术中，数据库技术的应用主要表现在联机事务处理（OLTP）方面。联机事务处理注重数据处理的响应时间、数据的安全性和完整性，通过对数据库的联机操作（增、删、改、查询）来实现特定的应用。目前，联机事务处理仍然是数据库应用的一个主要方面，关系型数据库经过多年的发展具有很强的联机处理能力，成为传统数据库技术的主流。   当联机事务处理系统应用到一定阶段后，用户慢慢发现单靠联机事务处理已经难以满足经济全球化条件下的激烈的市场竞争，用户很难在原有的数据库中找到能够为他们的决策提供翔实和可靠依据的综合信息。企业为了保持在市场竞争中的优势，迫切需要对其自身的经营管理情况、客户情况、市场情况以及相关行业的情况进行分析，并据此做出有利的决策，这种决策需要通过对大量业务数据（包括历史数据）进行分析才能得到。数据库技术的另一个应用方向就在这样的需求背景下产生了，那就 联机分析处理（OLAP）。与联机事务处理不同，联机分析处理注重于数据的查询和获取。   传统的数据库技术是面向应用的，企业往往针对不同的应用建立不同的数据库，甚至选用不同的数据库管理系统（DBMS），因此，企业的业务数据分散地存储在不同的数据库（可能是同构的，也可能是异构的）中，不易于统一查询访问，而且大量的历史数据脱机存放，无法进行联机查询，在此情况下对数据进行综合分析时，其结果往往缺乏可靠性且数据处理的效率很低。针对这种情况，为了适应企业发展和市场竞争的需要，人们设想建立一种数据中心，数据中心的数据从原有的多个用于联机事务处理的数据库中抽取得来，这个数据中心专门用于数据的分析，为企业决策提供支持和服务，这就是数据仓库的雏形。数据仓库的概念一经提出就得到了业界的重视，发展也很迅速。   二、  数据仓库的特征   1、数据仓库独立于业务数据库系统，但又同业务数据库系统息息相关，数据仓库中的数据是从各个业务数据库中抽取出来的，是对数据的“再组织”。   2、数据仓库中数据的存储和管理仍然依靠数据库技术来实现。多维数据库、关系型数据库是数据仓库存储和管理数据的主要方式。   3、与数据库技术主要用于联机事务处理（OLTP）不同，数据仓库技术主要用于联机分析处理（OLAP）。   4、数据库技术的主要目的在于业务处理，因此数据库是面向应用的，数据库的数据组织是按照应用来划分的；而数据仓库技术应用的目的在于决策支持，数据仓库是面向主题的，它要求将数据按照主题来组织，为按照主题进行决策的过程提供信息。   5、因为数据库的设计是面向应用的，不同的应用可能会选用不同数据库公司的数据库产品，不同的业务系统也可能由不同的软件开发商提供，这使得各个业务数据库中的数据存在不一致现象。而数据仓库在从各个业务数据库系统中抽取数据时，不论数据来源于哪个数据库，都必须按照数据仓库中的统一定义进行重新组织。因此，数据仓库中的信息不是从各个业务数据库中简单抽取出来的，而是经过系统地加工、汇总和整理，保证了数据仓库中的企业的信息是一致的。   6、业务系统数据库一般只关心当前数据和短期历史数据，侧重于数据的安全性、完整性、一致性和并发性的管理，根据业务需要实时改变数据库中的数据。由于数据仓库要为决策分析提供支持，因此数据仓库中的数据不只是关于企业当时或某一时点的信息，而是系统记录了企业从过去某一时点到目前的各个阶段的信息，通过这些信息可以对企业的发展历程和未来趋势作出定量分析和预测。数据进入数据仓库后，一般情况下将被长期保留，对数据仓库中数据的操作主要是插入（新数据）和查询，很少有删除和修改。   7、一个完整的数据仓库产品主要包括ETL数据抽取工具（Extract、Transform、Load），数据仓库管理工具，OLAP工具和数据挖掘工具。OLAP和数据挖掘是基于数据仓库的两种主要应用。数据仓库、OLAP和数据挖掘一起构成了决策支持系统（DSS）。   从图1.1中可以看出业务数据库、数据仓库、OLAP、数据挖掘与决策分析支持之间的层次关系，本文中所讲的“数据仓库系统”即是指由数据仓库、OLAP、数据挖掘和决策分析支持所构成的数据仓库的应用系统，而不单单指数据仓库本身。 三、银行业建立数据仓库系统的必要性分析   在一个企业建立数据仓库之前必须对企业建立数据仓库的目标、必要性、投资回报以及投资风险等进行详细的分析。由于数据仓库项目特别是为大型企业建立数据仓库，其投资通常巨大。因此，谨慎的分析就显得尤为重要。   （一）数据仓库的应用目标   数据仓库的应用目标大致可以划分为三类：   （1）将数据仓库作为企业的核心业务进行发展。出于这种目的的企业有两类：数据仓库工具厂商和服务性的信息咨询机构。   （2）利用数据仓库来优化企业内部管理控制，如人力资源的管理、成本的管理、产品质量和服务质量的管理等等。   （3）利用数据仓库为企业增加商业机会，这主要包括帮助市场、销售部门对客户情况和市场情况进行分析，帮助企业决策者提供辅助决策信息。   对于希望建立数据仓库的企业，需要对自身建立数据仓库的目的有明确的、统一的认识，这是进行数据仓库规划的重要前提。对于银行来说，建立数据仓库的目的主要在于优化银行内部管理控制和为银行增加商业机会，以实现银行价值的最大化。   （二）建立数据仓库的必要性分析   对于一个企业来说，是否有必要建立数据仓库以及建立哪方面的数据仓库应该基于企业内部结构的复杂程度和企业的市场规模以及客户规模来进行综合判断（见表2.1）。  

银行作为经营货币的特殊企业，其内部结构复杂度很高，同时银行业经营所遵循的三性原则（效益性、安全性、流动性）对银行内部管理和控制提出了很高的要求；另外，银行有着庞大的客户群体，其经营服务的范围涉及经济领域乃至整个社会的方方面面，因此对于银行来说，有必要建立数据仓库以优化银行的内部管理和控制，同时为银行增加更多的商业机会，最终提高银行的市场竞争力和银行的经营效益。   具体地讲，数据仓库系统在商业银行经营管理中的作用表现在以下几方面：   第一，有助于商业银行了解自身的经营状况。商业银行高效、安全经营的前提和基础就是其决策者对自身经营状况有一个全面的了解和认识。数据仓库系统为商业银行及时、准确、全面地掌握自己的资产负债数量及其分布、头寸调度情况、信贷资产分布情况、客户的信用情况等，提供了必须的服务手段和有力的技术支撑。   第二，有助于银行进行市场细分，进而开发新产品，拓展新市场，获得“深度效益”。根据国外商业银行的经验，在金融市场开放环境中，银行竞争优势的来源是对每一位客户提供个性化服务。然而银行有千百万的客户，如何将客户细分呢？也就是如何设计大量定制化的产品或服务呢？银行只有通过以客户为中心的决策支持系统，才能使用科学的方法实现个性化服务。数据仓库系统存放每一位客户同银行往来的详细的历史交易明细数据，对客户有统一的规划，能帮助银行业务用户以科学的手段快速地分析、模拟和预测客户的个性化需求，进而设计符合客户需求的产品或服务。通过客户喜好的渠道完成交易，是增强商业银行竞争能力最有效的手段。在数据仓库系统的帮助下，商业银行可以按照客户为银行创造盈利的多少和盈利潜在可能性的大小将自己的客户进行分类，进而根据不同客户以往的消费习惯，预测其未来的消费倾向，并结合外部经济、人口统计等相关数据预测未来的市场发展趋势。   第三，有助于商业银行经营管理和决策支持。商业银行经营管理方案的确定和未来战略决策的产生，都是以对现实的分析和对未来的预测为基础的，都是要靠准确的数字为依据的。借助数据仓库系统能进行不同银行产品的盈利性分析和风险性分析，因此数据仓库系统为商业银行提供了综合不同运行平台上的业务数据，并结合外部信息汇集在一起萃取出银行策略的途径。   第四，有助于商业银行风险防范。数据仓库的建立和数据挖掘的开展能帮助商业银行随时调用与自己有业务往来的客户的历史和现实业务数据，并能据此推断出客户信用情况，为商业银行减少内部经营风险创造了条件，与此同时，在结合社会外部环境相关经济数据的基础上，数据挖掘还可以帮助商业银行掌握同业经营状况和国内、国际经济发展趋势，减少外部经营风险。   第五，银行现有的管理制度和业务流程，都是以帐号为中心来进行客户服务，不同的帐号信息分散在不同的计算机系统内，缺乏对客户统一全面的了解。现有的生产系统是银行营运和客户服务的基础设施，无法提供多用户对大量历史数据同时进行突发的复杂的决策分析，所以建立另外一套以客户为中心的数据仓库决策支持系统是实现个性化服务的必要手段。 第六，利用数据仓库系统，银行可以有效地对内部的各种资源（如人力资源、网点资源、产品资源、物质资源等等）进行科学调配，以尽可能地达到资源的最优化配置，使现有资源发挥出最大的效能。   （三）建立数据仓库系统的投资回报及风险分析   如果企业认为有必要建立数据仓库系统，则需要进一步对建立数据仓库系统的投资回报以及潜在风险做客观的分析。   1、投资回报分析   投资回报分析可以通过投资回报率、投资回报周期进行定量分析，还可以通过投资效果进行定性分析。   投资回报率是企业因建立数据仓库系统而带来的收益和为建立数据仓库系统而付出的投资之间的比值。投资回报周期是从企业投资建立数据仓库系统到企业收回投资成本之间的时间。综合起来说，企业追求的目标应该是在尽可能短的投资回报周期内实现尽可能大的投资回报率。 对于投资效果的衡量和分析，可以通过以下指标来完成：   （1）能否提高产品质量和服务质量？ （2）能否优化内部资源配置，提高效率，降低成本？ （3）能否改善企业与客户之间的关系，为客户提供更多、更好的服务？ （4）能否改善管理层的管理能力、管理水平和管理效果？ （5）能否为企业决策层的决策提供有效的支持？ （6）能否提高企业的市场反应能力、反应速度？ （7）能否为企业的技术创新和产品创新提供有效支持？   2、风险分析   企业在建立数据仓库系统的过程中会面临以下几方面的风险： （1）企业将建立数据仓库系统的目标定得过于远大，不切合实际，最终难以实现。 （2）系统的实现周期过长在一定程度上将导致项目风险的加大：一方面，数据仓库项目的投资者会因为项目周期过长、投资迟迟得不到回报而对项目及项目的开发团队失去信心，致使项目半途而废；另一方面，项目周期过长将有可能因为某些客观因素和情况的变化而不得不对项目重新进行分析和设计，从而使项目周期进一步延长。 （3）由于项目控制不当而产生的风险。后面将有专门的一章来谈在数据仓库的项目实施过程中应当避免哪些错误。 （4）由于忽视了数据仓库系统的后期维护而产生的风险。   四、数据仓库系统的开发   （一）数据仓库系统的开发方法 开发数据仓库系统是一项大的软件工程，因此应该用软件工程的方法来实现。螺旋模型和螺旋式的开发方法是目前比较公认的数据仓库开发策略。螺旋式的开发方法采用“分而治之”的思想，将一个庞大的任务划分成多个阶段，在每一个阶段中，项目按照问题定义、系统分析、系统设计、开发、实现、维护和系统评估来进行。在一个阶段完成后，再开始新的阶段的建设，如图3.1所示。  

数据仓库是面向主题的，企业的数据仓库就是由面向不同主题的数据有机地集合在一起形成的，OLAP和数据挖掘也是基于主题来实现的，而不同的主题之间一般没有非常紧密的联系，因此可以分步骤或并行实施，数据仓库系统的这种特点适合用螺旋式开发方法进行开发。螺旋式的开发方法通过不断扩大开发范围的方式来逐渐完善数据仓库系统，这种方式有以下优点：

（1）由于任务进行了阶段划分，企业能在比较短的时间内获得他们需要的系统的一部分功能。虽然这些功能不尽完善，但是企业可以尽早地利用这些功能进行决策支持并从中收益。

（2）由于每个阶段的任务相对较小，需要的开发时间较短，阶段性成果能够在比较短的时间内获得，开发团队的工作因此可以较快地得到企业领导层的认同，企业投资者对数据仓库系统建设的信心会增强，有利于项目的实施。

（3）前一阶段工作的经验和成果可以应用于后续阶段的工作中。

（二）数据仓库系统的开发过程

图3-2表示了数据仓库系统的开发过程。

 

（三）数据仓库系统的数据流程

图3-3是数据仓库系统的数据流程图，图中标号的含义如下：

（1）：对原始数据进行数据抽取、清洗、整理后成为数据仓库中的各种综合度的数据表。

（2）：经过维度分析得到维表并定义相应的格式表。

（3）：从数据仓库中抽取数据形成事实表及补充事实表。

（4）：从数据仓库中抽取信息，整理成数据挖掘宽表，用于数据挖掘。

（5）：宽表中的数据通过数据挖掘程序处理后生成的扩展数据（挖掘结果）需要重新回写进事实表。

（6）：利用数据展现工具展现OLAP和数据挖掘的结果。

（四）数据仓库系统的层次结构

从不同功能层面的角度可以将数据仓库系统划分为数据仓库层面、OLAP层面、数据挖掘层面、数据展现层面。其中，数据仓库层面要设计和实现数据的抽取模块（数据仓库的管理功能由数据仓库产品来完成）；OLAP层面需要设计实现维表/事实表生成模块、关系数据库/多维数据库生成模块以及OLAP应用分析软件；数据挖掘层面需要设计实现数据挖掘宽表生成模块、数据结果回写模块、数据挖掘应用软件；数据展现模块需要设计实现数据展现功能。 不同的层面可能采用不同的系统平台，所使用的技术也不相同，但在选择产品时一定要注意相互之间的互通性和兼容性。不同层面的要求差异也导致了不同层面所关注的重点不同，数据仓库层面、OLAP层面注重数据处理的正确性和高效性，数据挖掘层面注重模型的有效性，数据展现层面注重界面的美观和用户的可操作性。由于数据仓库系统是一项非常大的系统工程，复杂度很高，因此在设计和实现不同层面的时候一定要注意他们各自的特殊要求。

五、数据仓库系统在银行业中的应用

（一）数据仓库技术在银行业中的应用范围

    如图4-1所示，数据仓库技术可以应用在银行的客户关系管理（CRM）、金融市场分析、资产负债管理、人力资源管理、财务管理、产品和服务的管理及规划、信贷业务管理、中间业务管理、风险管理、信息技术发展规划、企业资源规划等许多方面。

（二）商业银行如何实施数据仓库系统

1、选择数据仓库应用模式

数据仓库的应用模式包括集中式数据仓库和分布式数据仓库。一般来说，集中式数据仓库适合集中经营管理的中小型企业，分布式数据仓库适合分散经营管理的大中型企业。

就目前国内银行的情况来看，大多数银行采用总分行制的组织形式，各分行及其下辖的分支机构既要对外经营，又负责本行及其下属分支机构的管理；总行负责对总行本部及各分行的管理，某些银行的总行也承担自营和对外经营的职能。由于各分行有其复杂的外部环境和相关的经济目标，总行不可能做到替所有的分行做出有效的决策，因此需要将一部分经营管理的决策权力下放到各分行。在这样的一种经营管理模式下，银行在实施数据仓库项目时，应该对数据仓库系统的体系结构进行认真地研究，选择适合自身特点的数据仓库应用模式。

总的说来，总分行制的银行应该建立分布式的数据仓库系统，总行要建立自己的数据仓库系统，各分行也要建立自己的数据仓库系统。两者既有区别，又密切联系。

（1）总行的数据仓库系统主要为全行的经营管理以及总行本部管理提供有用信息和决策支持，而分行的数据仓库系统主要为分行的管理以及分行的经营提供决策支持。

（2）分行数据仓库系统的数据源自分行的业务处理系统、管理系统以及分行收集的外部数据，总行数据仓库系统的数据源自总行的业务处理系统、管理系统、总行收集的外部数据以及来自分行数据仓库系统的信息。

 

（3）总行数据仓库不是分行数据仓库的简单汇总。一方面，为了全面了解和掌握全行经营管理的情况，需要从分行数据仓库中抽取数据到总行数据仓库中来；另一方面，这种抽取不是简单的数据传递，而是针对总行数据仓库系统的应用目标和特点，有选择地将分行数据仓库中对总行管理决策有价值的数据进行加工后传输到总行数据仓库中。同时，总行数据仓库系统分析、挖掘出的信息也可以分发到各分行的数据仓库系统中。

（4）对于总分行以及分行之间共性的主题，可以采用相同的数据仓库模型。在项目实施过程中，可以先在一个分行试点，成功后再在其他分行推广。

（5）应该保证总分行数据仓库系统的数据一致性，避免由于数据的不一致而产生矛盾的分析结果。

（6）目前，国有商业银行和股份制商业银行已基本实现了数据的集中处理，这为数据仓库系统的建设创造了良好的条件，提供了很多的便利。对于某些主题，银行可以在数据集中的基础上建立相对集中的数据仓库系统，并通过网络实现分布式共享访问。而对于另外的一些主题，还需要用分布式数据仓库系统来实现。

2、与现有业务系统的相互作用

数据仓库系统的主要数据来源是业务系统，银行经过多年电子化和信息化的建设，已经形成了一套符合自身实际的比较成熟的业务系统体系，但是在这些业务系统基础上实施数据仓库系统时，还是会经常遇到一些业务系统与数据仓库系统不相适应的情况。这是一个复杂的问题，一方面不能因为数据仓库系统的建设影响业务系统的正常运转，另一方面，又要保证数据仓库系统项目的顺利实施，同时数据仓库系统的建设对业务系统的完善和改进也会起到一定的促进作用。在数据仓库系统的建设过程中，以下几个问题应该得到重视：

（1）一定要组织熟悉业务系统的业务人员和技术人员参加数据仓库系统的分析、设计和实施。这不仅对数据仓库系统的建设至关重要，而且对数据仓库系统的后期维护也是至关重要的。

（2）记录系统的定义是数据仓库系统建设中非常关键的一步，它直接关系到数据仓库中数据的准确性、一致性和有效性。因此，在定义记录系统时，一定要在充分认识业务系统的基础上，制订出科学、有效的清洗规则和转换规则，保证从不同业务系统进入数据仓库系统的数据是一致的。

（3）对于不适应数据仓库系统建设要求的业务系统，要区别对待。例如，对于存在重大缺陷，已经不适应业务需要的业务系统，最好能在数据仓库系统建设的同时根据业务需要对业务系统进行优化、整合或重新开发；对于仍能满足业务需要的业务系统，为了节约成本，保持业务系统运行的平稳，可以根据数据仓库系统的具体要求进行有针对性的优化或完善。

（4）由于数据仓库系统分析产生的决策信息有可能需要返回业务系统中去，因此有必要在业务系统中考虑这一问题。

3、行业信息共享

第九届全国人民代表大会第四次会议批准的《国民经济和社会发展第十个五年计划纲要》中明确指出了要“广泛应用信息技术加强信息资源开发，强化公共信息资源共享，推动信息技术在国民经济和社会发展各领域的广泛应用。”，由此可见信息共享在国民经济活动中所起的重要作用。在当今经济全球化的趋势下，经济的发展与信息的获取更是密不可分。

对于银行业而言，行业信息共享是银行拓展业务、规避风险的有效手段。如何在保证各家银行商业机密的前提下最大限度地实现银行业乃至金融业的信息资源的共享，已经成为金融监管部门和金融企业共同关心的一个课题。而要实现这一目标，需要政府和金融监管部门的统筹安排以及各金融企业的通力合作。

行业共享信息是银行数据仓库系统外部数据的重要来源，如果能够实现从行业共享信息库中自动抽取数据到银行的数据仓库系统中，则可以大大提高数据仓库系统中数据的实时性、一致性和有效性。

六、数据仓库系统在银行业的应用前景

目前，国内商业银行基本完成了新一代综合业务系统的建设，并在此基础上逐步实现了数据的集中处理。商业银行新一代综合业务系统是以会计核算为基础，以客户为中心，以管理决策为导向，面向管理和业务，集中、统一、整合、联动的综合业务处理系统。它的建设紧紧围绕“以客户为中心”的指导思想，更好地为客户和商业银行的业务管理服务。它采用国际银行通用的多币种的会计方法，与国际系统接轨；采用面向业务的设计，全面实现综合柜员制，简化了柜面业务的处理流程，自动联动处理相关的业务交易，方便了客户；采用结构化设计的原则，统一规则，保障了新兴业务的拓展，最大限度地挖掘客户潜在的需求，使客户获得满意的服务；充分考虑到了管理信息系统对业务数据的要求，从而避免数据残缺或重复录入的现象。

数据的集中处理更使银行的经营管理水平迈上了一个新的台阶，实现数据集中处理后，一提高了结算速度；二更加方便快捷地实现了全国范围内的通存通兑；三可以统一全行的服务，扩大品牌效应；四可以提高银行的核心竞争力；五为以后的信息化建设打下了良好的基础。

在统一业务处理平台和实现数据集中处理后，对数据的深层次挖掘、利用就显得十分重要，因此，数据仓库技术的应用就显得十分必要，数据仓库已经成为各银行未来信息化建设的关键项目。只有充分地应用集中的数据，实现从业务集中到管理集中和风险控制集中的转变，才能在更深的层次上提升银行的竞争力，这也是中国银行业信息化发展的必然途径。

目前，国内的多家银行已经在建设和利用数据仓库系统方面进行了有益的探索和尝试，取得了一定的进展，同时获得了良好的效果。但是总的看来，无论在规模上、还是在功能上，国内银行数据仓库系统的建设和利用水平与国外银行之间还存在着较大的差距，这首先是由于国内银行数据仓库系统的建设起步比较晚，而数据仓库系统的建设又是一个循序渐进的过程，不能一蹴而就；其次是由于国内银行特别是四大国有商业银行规模庞大、分支机构众多，内部管理复杂，难以在短时间完成规模大、功能全、利用率高的数据仓库系统的建设，相比之下，先在某个或几个分行进行试点，在总结成功经验和失败教训的基础上进而推广的做法是明智的，是符合数据仓库系统建设规律的；第三是由于多数国内商业银行刚刚完成从专业银行或政策性银行向现代化商业银行的改制，在完善和加强现代金融企业制度方面还有大量的工作要做，而数据仓库系统不同于其他的应用系统，它是为企业的决策、管理以及长远发展服务的，它与企业的管理决策水平是相辅相成、相互制约的。

我们相信，只要对数据仓库系统建设的重要性和必要性有充分的认识，只要在数据仓库系统建设方面有明确的、切实可行的目标和规划，只要按照数据仓库系统建设的规律去稳步实施，只要能够充分利用数据仓库系统来为管理决策服务，那么国内的银行一定会在数据仓库系统的建设方面取得长足的发展，同时也会从中获得丰厚的回报。

来源：CCW