证券行业从数据仓库＂挖＂到财务预警

申请免费试用、咨询电话：400-8352-114

从数据仓库"挖"到财务预警 预警前期两项准备工作 确立预警系统关键指标 分享四点成功经验 

年终岁末，国内的股市一反疲态牛气冲天，上海证券交易所（以下简称上交所）日均交易量飙升，已高达500多亿元。在这片数字浪潮中，上交所的数据仓库系统大放异彩。按照每笔交易平均12000元计算，500亿元需要处理400多万笔交易，交易笔数之高让伦敦证券交易所相形见绌。而如此多的交易数据，仅需半个小时就可存入数据仓库。

上海证券交易所交易大厅

从数据仓库"挖"到财务预警

1990年11月底成立的上交所，16年来积累了大量的交易历史数据，为有效提高决策支持水平、市场监管水平和服务水平，于2002年启动了数据仓库两期项目。在上交所工程师郑斌祥看来，数据仓库的最大优势在于，它可通过单一视图提供深入细致的信息，帮助上交所从数据分析中发现风险的苗头，进而采取主动的防范措施。

从2002 年到2005年，上交所完成了两期数据仓库的规划、设计、实施与运行，仅2002年完成的第一期项目就为15个业务部门提供了200多项应用。

众所周知，证券监管、防范交易欺诈是上交所的重要职能，相关的分析工作涉及许多纸质文件。但很少有人知道，这些纸面文件必须保留20年，时间长了，纸质文件容易破损，降低乃至丧失法律效力。因此，对非结构化数据的处理成为数据仓库的要务之一。如今，上交所已经完成了包括600万页纸质非结构化数据在内的十几个TB数据的清理工作。
 
股民也许并不清楚也不关心这些数据的意义，他们更关注的是如何找到股市黑马，从而捞上一票。但对证券公司而言，如何通过这些数据尤其是上市企业的财务报表，判断上市企业的财务风险，从而保护股民利益却至关重要。

财务风险的终极表现就是公司破产，无能力履行债务偿还责任。从企业财报数据入手，运用数据挖掘方法，构建上市公司财务风险预警模型，预测可能出现财务风险的上市公司，对于投资者及时调整投资决策、监管层准确识别盲目融资公司、投资银行有效发掘潜在客户都具有重要意义。这也是数据挖掘的价值所在。

于是，在建设数据仓库的同时，上交所找到了原IBM全球银行数据挖掘咨询组组长刘世平，委托他新成立的公司--吉贝克信息技术有限公司，负责该项目设计阶段的数据挖掘咨询工作。

吉贝克信息技术有限公司董事长刘世平

吉贝克于2002年12月进入项目组，由刘世平亲自带队。凭着丰富的数据挖掘项目实施经验，咨询团队仅花了一个月的时间，就完成了数据挖掘战略文档的撰写工作，并向上交所提交了18个数据挖掘主题及其解决策略的分析。吉贝克的效率与能力给上交所留下了深刻印象，它随即又获得了上交所的下一个项目--建立上市公司财务指标预警系统。

预警前期两项准备工作

刘世平明白肩上的担子不轻，他知道上交所的职能不仅是提供一个交易平台，还要对上市公司进行监管，保证上市公司信息披露的及时性、完整性和准确性。而上市公司的财务报表是其综合实力的集中反映，上交所通过对上市公司财务报表的分析来建立一种基本判断，实质上，就是建立针对上市公司的风险分析系统及其财务报表的诚信分析系统。

这样就产生了两个问题：一是如何通过财务报表的基本内容，准确判断一家上市公司是否存在问题。换句话说，就是如何将财务报表指标化，通过一些关键指标了解上市公司是否诚信，其经营是否处于健康状态。二是上交所当时已有837家上市公司，一个工作人员要负责几十家上市公司的监管，工作量非常大；而且随着时间的推移，上市公司的数量还会不断增加。

站在刘世平的角度看，两个问题合成了一个问题，即如何帮助上交所提高监管效率，并在控制人员规模的前提下，保证监管质量，这也是上交所的基本需求所在。从上交所的需求出发，刘世平率队完成了两项前期准备工作：一是对上交所从事上市公司监管的专家进行访谈；二是对当前的行业分类标准进行分析和完善。

上交所有70多名财务专家，长期从事分析上市公司财务报表的工作，具有扎实的理论功底和丰富的实践经验。吉贝克仔细摸底之后，跟其中的18位专家进行了深入的交流，从他们身上学到了很多实用的方法，例如怎么分析财务报表中的数据是否真实，从哪些角度判断上市企业是否存在问题等等。

由于技术偏好和实践经验不同，专家的观点和方法显得差异很大，吉贝克并没有对这些观点和方法只作简单的再展示，而是利用数据挖掘工具把专家们的认识成果综合起来，固化到系统中。
 
不过，接受访谈的专家也达成了一个共识：如果想对一家上市公司的财务报表进行准确分析和判断，仅仅依靠从该企业的财务报表中发现问题是不够的。要判断一个企业的财务报表是不是真实，还必须与同行业的其他企业进行比较。

于是刘世平又抽出大量时间，广泛收集和深入分析了国际上应用较广的行业分类标准，最终确定了以我国国家标准和证监会标准为基础，参考、借鉴国际标准对上市公司进行分类的指导思路。

确立预警系统关键指标

在访谈过程中，刘世平掌握了上交所专家们在分析财务报告、判断企业状况时重点关注的指标，随后利用统计学的方法，建立了上市公司财务指标预警系统。

预警系统主要包括五个模块。第一个模块是上市公司财务指标展示，通过这个模块可以清晰看到上市公司的基本财务指标，以及指标的整体变化情况和变化趋势。

第二个模块是上市公司单指标预警。当一家上市公司的某项财务指标超出一定范围时，模块会以非常直观的方式给出警告标志，例如通过设置财务风险预警条件，系统可自动确定需要重点关注的上市公司，提出预警信号；同时还设置了财务风险预警的级别，"一面红旗"代表需要重点关注，"两面红旗"代表严重偏离，红旗越多，说明财务指标偏离正常的程度越大，足以引起监管人员的重视，大大减轻了监管人员的工作强度。

如果只对一个企业的关键指标做纵向比较，难以得出准确的结论。因此，预警系统的第三个模块就是建立杜邦模型，对上市公司的关键指标进行横纵两个方面的综合比较。首先，对于同一个企业，抓住一条主线，把某项指标全部肢解出来，对不同年份的情况进行纵向比较；其次，以同类企业中的一家为基础参照系进行比较，可以很快发现企业状态是否良好。

关键业绩指标是第四个模块。每家上市公司都含有盈利率、负债率等十几个关键指标，吉贝克采用了仪表盘的方式，直观展示这些业绩指标。根据仪表盘所示区间，可以轻易发现企业当前的业绩情况，用户即使在万里之外，也像坐在监控企业的驾驶舱中，没有距离感；。

第五个模块是企业财务报表诊断书。诊断书共分十二项指标，从盈利性、成长性等方面来帮助监管人员做出准确判断，就像医生开出的诊断书一样，不仅有每家上市公司关键指标的当前值、历史值及取值区间，还有该企业所在行业的区间值等。

对于上市公司而言，除了专家访谈得出的关键财务指标外，还存在许多非财务的指标，比如公司治理结构、独立董事发言、会计师事务所变更频率与次数等，都不容忽视。为把财务与非财务指标囊括其中，吉贝克拟定了100多个指标和2000多个变量。

取得这些变量后，吉贝克运用数据挖掘和人工干预法，建立起上市公司诚信指标体系。而后对指标体系进行分类，测算出不诚信情况的概率，再把它转换为直观的分数并立档，分别以五星、四星、三星……作为标志，星级越高代表诚信度越差。监管人员不仅可以直观看到上市公司目前的诚信状况，还能了解到哪些指标和哪些原因导致了这种状况的发生。

分享四点成功经验

上市公司财务指标预警系统于2005年4月26日上线，成功运行至今。刘世平认为，上交所这个项目的成功，有四点经验可以供所有的数据挖掘项目参考和借鉴。

首先，在数据挖掘项目的建设中，客户需求是最重要的。客户为什么要建设这个项目，要用它来解决什么问题，其基本目的一定要把握住。上交所这个项目的目的就非常明确，即提高监管效率，建立合理化的指标体系。

在这个过程中，业务专家的参与非常重要，要把业务专家和技术专家结合在一起，在把握技术的基础上，对业务人员的需求进行提炼、升华，而不是简单的重复。

其次，目的确定以后，要搞清楚达到这个目的需要解决哪些问题；要解决这些问题，需要哪些数据的支持，需要对哪些数据进行分析，是否拥有所需的数据。

第三，前期准备的过程至关重要。在上交所这个项目中，吉贝克真正利用数据挖掘模型进行运算的时间不到一个月，而前期的准备工作却花了近半年，技术人员广泛向业务专家请教，充分消化专家智能，把专家的理念、动机、方法及相关信息的特征、特性等全部理顺。正是这个看似与数据挖掘无关的过程，成为该项目成功的基石。

第四，需要端正对数据挖掘本身的认识和理念。数据挖掘是一个过程，绝不是数据加软件这么简单，遵循这一理念的项目才能取得成功。成功的数据仓库项目必须具备实用性、前瞻性、扩展性和安全性，而实用性和前瞻性是重中之重。(it168)