开发背景
随着国内信息化建设的日益提高。各类客户的业务系统所积累的业务数据日趋膨大。企业的领导者随着市场竞争的加剧,非常希望能从纷繁的业务数据中提取综合反映企业、单位综合经营状况的信息,从而帮助决策。但企业业务系统的不规范,数据的不统一,历史数据的过于巨大以及反映信息的界面不够友好,都阻碍了决策支持系统的建设。
数据仓库技术的日趋成熟,正好可以有效的解决上面的问题。但现在多数厂商提供的数据仓库解决方案已高昂的价格把大多都用户拒之门外,而且也给采购他们系统的客户带来更大的风险。微软MS SQLSERVER 是全球性价比最好的数据仓库解决方案,同时也是全球布置最多的数据仓库解决方案。
基于以上原因,青大海威公司基于微软SQL SERVER所提供的数据仓库框架结构,开发了更适合国内客户应用习惯的前端多维分析报表工具:HDC iAnlyzer 和HDC iReport。2001年海威公司在MS SQL2000提供数据挖掘规范的基础上又开发了通用的数据挖掘平台软件:HDC MINing。该系统不仅集成了微软提供的两种算法,而且可以根据客户的实际情况选择其他算法插件。
海威公司研发的全面的数据仓库解决方案,是一套统用的决策支持解决方案,可广泛的应用于政府、企业、交通、电信、金融等领域。
方案详细介绍:
青大海威公司的业务智能解决方案面向政府、制造、通信、金融等个行业提供解决方案。
整个系统由三部分组成:第一部分是由用户数据源到业务智能中央数据库的ETL过程;第二部分是根据用户业务模型建立业务智能分析模型;第三部分是面向终端用户进行数据的发布和多维分析工作。
整个业务智能解决方案除前端数据发布和多维分析工具采用青大海威公司自己开发的HDC3数据展示套件外,其他各部分均基于微软平台构建。主要使用的微软产品有:WINDOWS 2000 ADVANCED SERVER ,SQL SERVER2000,IIS等。如下页图所示:
方案中,数据的ETL过程采用微软的DTS通过标准接口OLE DB或ODBC(针对不支持OLE DB的数据源,如:Sybase)定义ETL过程的数据源连接,通过DTS自带的抽取规则或使用T-SQL脚本语言定义数据抽取、清洗和转换方法,使用DTS提供的PACKAGE及工作流功能定义各PACKAGE的执行顺序,使用SQL SERVER中设置的定时任务对由DTS定义的任务包进行统一的管理和调度。
业务智能系统中央数据库选用SQL SERVER 2000,其具体产品的选择将视用户的现有数据量及数据增量情况确定,一般推荐用户使用SQL SERVER ENT计量管理软件RISE EDITION(25 USERS)。在中央数据库的实施过程中需要考虑数据量与效率、系统安全性与数据安全性、备份与还原策略等问题。这些问题的解决需要考虑使用SQL SERVER2000的分布式处理,WINDOWS2000的集群策略以及SQL SERVER2000的数据同步、数据定时备份和还原设置。
业务智能解决方案的核心部分是分析模型的构建和管理,这部份我们采用的是SQL SERVER2000自带的OLAP服务器并使用Analysis Manager完成整个模型的构建,指标的设置、维度的设计、计算指标的定义(应用MDX)、模型分区设计、通过ADO MD和DSO进行模型操作应用设计,设置多维数据集存储模式、定义多维数据集的聚合策略以及多维数据集的处理、多维数据集的备份及还原等操作。
业务智能系统的前端数据分析工具是整个系统的重要部分,通过这些工具用户可以轻松访问多维模型中的数据。这部分我们采用青大海威公司自己开发的HDC3数据展示套件。HDC3由三种产品组成:多维数据分析工具(iAnalyze)、报表工具(iReport)和挖掘工具(iDMine)组成。HDC3采用B/S结构,通过IIS和应用程序服务器(HDC APPLICATION SERVER)对远程数据集进行存取,而网络传输,则基于COM+技术(下一步将使用XML+WEB SERVICE)。多维数据分析工具和报表工具使用ADO MD接口对多维数据集(CUBE)进行数据访问,使用MDX语句向OLAP SERVER提交查询请求并获得结果集。挖掘工具则使用OLE DB FOR Datamining接口与远程的挖掘服务器进行数据交换,采用XML进行数据传输并使用PMML对挖掘结果进行描述。
系统主界面如下图所示:
解决方案成功案例
用户单位名称:青岛地税
1. 税收业务智能系统(开发时间2001年7月)
·功能:税源分析、申报分析、缴纳分析、发票分析、内部考核分析等
·硬件环境:
o 业务系统数据库:Sybase13.5 for UNIX
o 中央数据库服务器:4*PIII700Mhz,1G,4*40GSCSI
o OLAP 服务器:2*PIII,1G,2*20GSCSI
·开发环境:SQL SERVER 2000,VISUAL BASIC
2. 海尔商流业务智能系统(开发时间2002年6月)
· 功能:
进销存分析、闭环控制分析、工贸分析等
· 硬件环境:
o 业务系统数据库:DB2 for Windows,SQL SERVER2000,ORACLE8I
o 中央数据库服务器:4*EXON,2G,4*80GSCSI
o OLAP 服务器:2*PIV1GHZ,2G,2*40GSCSI
· 开发环境:VISUAL BASIC,ASP,SQL SERVER 2000
效果与反馈
本方案在客户原有业务系统的基础上为客户,特别是决策层提供了综合分析运营状况的信息。对决策者具有很大的帮助。
青岛海关在计算机报上介绍经验时写道:
今年5月,加工贸易多维分析模块和通关效率多维分析模块先后开发完成,围绕企业、商品和监管过程这三个重点,形成交互信息作业平台,在实现风险管理信息共享的基础上,为风险识别、评估和分类控制作业提供了信息支持。
加工贸易多维分析应用于加工贸易趋势分析、加工贸易企业风险分析、加工贸易商品风险分析以及通关效率分析等,主要是从企业方面、商品方面、加工单耗方面以及海关监管等方面,对加工贸易企业及商品进行综合分析,其中涉及到备案数量、进口数量、出口数量、备案价值、进口价值、出口价值、单耗、合同数、补税额等二十几个分析指标。通过钻取和分析,确定重点商品、重点企业,为加强海关监管、控制通关以及制定各种业务规范提供了有力依据。
完成通关效率多维分析模块,为各级决策者、通关效率监控分析人员提供了强大的在线分析功能,实现对总体效率及各业务环节效率的随时查询了解; 能根据用户的需要形成各种报表、图形;可对报表进行任意排序;可将结果离线下载到本地数据库(如ACCESS)中供用户进一步分析使用。通过通关效率多维分析模块,可以将海关平均通关时间计算时由天缩小到秒,使进口计算误差缩小了30%,出口计算误差缩小了60%,从而大大消除了过大的误差