“数据掘金”岂能用“锄头”
AMTeam.org
“数据掘金”岂能用“锄头”
利用数据挖掘技术获得商业智能
刘红岩 何军
2003-6-5
中国计算机报
应该注意：数据、信息和决策信息三者是有区别的。知识发现这个过程做不好，企业迅速膨胀的信息系统就是个垃圾堆。从外表看，企业信息系统的硬件施工很规范，但是怎么知道企业的管理团队，乃至整个企业正在滑进这个垃圾堆呢？
——编者
在当今竞争日益激烈的市场环境中，您一定希望能够从浩如烟海的商务数据以及其他相关的数据中发现带来巨额利润的商机。只有那些利用先进的信息技术成功地收集、分析、理解信息并依据信息进行决策的企业才能获得竞争优势，才是市场的赢家。因此，越来越多的管理者开始借助商务智能技术来发现商务运营过程中存在的问题，找到有利的解决方案。
具体地说，商务智能技术包括：
· 数据仓库(data warehousing)
· 联机分析处理(on-line analytical processing，简称OLAP)
· 数据挖掘（data mining）
包括以上三者在内的用于综合、探察和分析商务数据的先进的信息技术的统称就是商务智能技术。
数据仓库
数据仓库是一个面向主题的、集成的、随时间变化的、非易失的主要用于决策支持的数据的集合。一般来说，大公司或企业内存在着各种各样的信息系统，这些应用驱动的操作型信息系统为企业不同的业务系统服务，具有不同接口和不同的数据表示方法，互相孤立。利用数据仓库技术可以动态地将各个异构系统中的数据抽取集成到一起，进行清洗、转换等处理之后加载到数据仓库中，通过周期性的刷新，为用户提供一个统一的干净的数据视图，为数据分析提供一个高质量的数据源。
OLAP
对于数据仓库中的数据，可以使用一些增强的查询和报表工具进行复杂的查询和即时的报表制作，可以利用OLAP技术从多种角度对业务数据进行多方面的汇总统计计算，还可以利用数据挖掘技术自动发现其中隐含的有用信息。
数据挖掘
数据挖掘又称知识发现（Knowledge Discovery in Database，简称KDD），是从大量数据中抽取有意义的、隐含的、以前未知的并有潜在使用价值的知识的过程。数据挖掘是一个多学科交叉性学科，它涉及统计学、机器学习、数据库、模式识别、可视化以及高性能计算等多个学科。利用数据挖掘技术可以分析各种类型的数据，例如结构化数据、半结构化数据以及非结构化数据、静态的历史数据和动态数据流数据等。
数据挖掘对象分类
关系数据库(relational database)中通常存储和管理的是结构化的数据，它将一个实体的各方面信息通过离散的属性进行描述。而文本数据库（text database）或文档数据库（document database）则通常存储和管理的是半结构化的数据，例如新闻稿件、研究论文、电子邮件、书籍以及WEB页面等都属于半结构化数据。空间数据库、多媒体数据库中存放的是非结构化数据，例如地图、图片、音频、视频等都属于非结构化数据。相对于半结构化和非结构化数据来说，针对结构化数据的数据挖掘技术比较成熟，市场上有很多的商品软件可以使用，用的较多的包括IBM Intelligent Miner、SAS Enterprise Miner、SGI MineSet、Clementine SPSS以及Microsoft SQL Server 2000等。关于半结构化和非结构化的数据挖掘软件尚不多，相应的算法相对还较少。IBM Intelligent Miner for Text是IBM公司开发的针对文本的挖掘软件。
从另一个角度来说，数据挖掘的分析对象又可以分为两种类型：静态数据和数据流（data stream）数据。现在的多数数据挖掘算法是用于分析静态数据的。
数据挖掘常用技术
无论要分析的数据对象的类型如何，常用的数据挖掘技术包括关联分析、序列分析、分类、预测、聚类分析以及时间序列分析等。
·关联分析
关联分析主要用于发现不同事件之间的关联性，即一个事件发生的同时，另一个事件也经常发生。关联分析的重点在于快速发现那些有实用价值的关联发生的事件。其主要依据是事件发生的概率和条件概率应该符合一定的统计意义。
对于结构化的数据，以客户的购买习惯数据为例，利用关联分析，可以发现客户的关联购买需要。例如，一个开设储蓄账户的客户很可能同时进行债券交易和股票交易，购买纸尿裤的男顾客经常同时购买啤酒等。利用这种知识可以采取积极的营销策略，扩展客户购买的产品范围，吸引更多的客户。通过调整商品的布局便于顾客买到经常同时购买的商品，或者通过降低一种商品的价格来促进另一种商品的销售等。
对于非结构化的数据，以空间数据为例，利用关联分析，可以发现地理位置的关联性。例如，85%的靠近高速公路的大城镇与水相邻，或者发现通常与高尔夫球场相邻的对象等。
·序列分析
序列分析技术主要用于发现一定时间间隔内接连发生的事件。这些事件构成一个序列，发现的序列应该具有普遍意义，其依据除了统计上的概率之外，还要加上时间的约束。
·分类分析
分类分析通过分析具有类别的样本的特点，得到决定样本属于各种类别的规则或方法。利用这些规则和方法对未知类别的样本分类时应该具有一定的准确度。其主要方法有基于统计学的贝叶斯方法、神经网络方法、决策树方法以及support vector machines等。
利用分类技术，可以根据顾客的消费水平和基本特征对顾客进行分类，找出对商家有较大利益贡献的重要客户的特征，通过对其进行个性化服务，提高他们的忠诚度。
利用分类技术，可以将大量的半结构化的文本数据，如WEB页面、电子邮件等进行分类。可以将图片进行分类，例如，根据已有图片的特点和类别，可以判定一幅图片属于何种类型的规则。对于空间数据，也可以进行分类分析，例如，可以根据房屋的地理位置决定房屋的档次。
·聚类分析
聚类分析是根据物以类聚的原理，将本身没有类别的样本聚集成不同的组，并且对每一个这样的组进行描述的过程。其主要依据是聚到同一个组中的样本应该彼此相似，而属于不同组的样本应该足够不相似。
仍以客户关系管理为例，利用聚类技术，根据客户的个人特征以及消费数据，可以将客户群体进行细分。例如，可以得到这样的一个消费群体：女性占91%，全部无子女、年龄在31到40岁占70%，高消费级别的占64%，买过针织品的占91%，买过厨房用品的占89%，买过园艺用品的占79%。针对不同的客户群，可以实施不同的营销和服务方式，从而提高客户的满意度。
对于空间数据，根据地理位置以及障碍物的存在情况可以自动进行区域划分。例如，根据分布在不同地理位置的ATM机的情况将居民进行区域划分，根据这一信息，可以有效地进行ATM机的设置规划，避免浪费，同时也避免失掉每一个商机。
对于文本数据，利用聚类技术可以根据文档的内容自动划分类别，从而便于文本的检索。
·预测
预测与分类类似，但预测是根据样本的已知特征估算某个连续类型的变量的取值的过程，而分类则只是用于判别样本所属的离散类别而已。预测常用的技术是回归分析。
·时间序列分析
时间序列分析的是随时间而变化的事件序列，目的是预测未来发展趋势，或者寻找相似发展模式或者是发现周期性发展规律。
现状：与发达国家差距较大
现在，随着我国加入WTO，我国在许多领域，如金融、保险等领域将逐步对外开放，这就意味着许多企业将面临来自国际大型跨国公司的巨大竞争压力。国外发达国家各种企业采用商务智能的水平已经远远超过了我国。美国Palo Alto 管理集团公司1999年对欧洲、北美和日本375家大中型企业的商务智能技术的采用情况进行了调查。结果显示，在金融领域，商务智能技术的应用水平已经达到或接近70%，在营销领域也达到50%，并且在未来的3年中，各个应用领域对该技术的采纳水平都将提高约50%。现在，许多企业都把数据看成宝贵的财富，纷纷利用商务智能发现其中隐藏的信息，借此获得巨额的汇报。
据IDC对欧洲和北美62家采用了商务智能技术的企业的调查分析发现，这些企业的3年平均投资回报率为401%，其中25%的企业的投资回报率超过600%。调查结果还显示，一个企业要想在复杂的环境中获得成功，高层管理者必须能够控制极其复杂的商业结构，若没有详实的事实和数据支持，是很难办到的。因此，随着数据挖掘技术的不断改进和日益成熟，它必将被更多的用户采用，使更多的管理者得到更多的商务智能。
编后其实，商业智能并不是从天而降的，它是伴随这几十年“计算机器”的普及和发展，孕育、产生并变得鲜活起来的。我们欣喜地看到，很多企业已经或者正在利用商业智能增强核心竞争力。从计算机作为办公设备成为普通员工的劳作工具，到办公自动化网络作为组织管理模式的不可缺少的有机构成，再到商业智能作为决策辅助工具，表明了人们在这一领域的认识发展过程：从利用“早期简单智能工具”——对产品客体的认识和加工，到人们对企业组织行为管理过程的认识，再到企业领导者对自身决策行为过程的主体的反思。企业家认识BI，采用BI，代表着人类能够认识客观世界的同时，时刻挑战着自我认知这个最高境界。具体说，采用BI是企业决策者给高管层一个智能化工具，最终使自己的决策更加智慧和敏捷的美妙过程。
在当今竞争日益激烈的市场环境中，您一定希望能够从浩如烟海的商务数据以及其他相关的数据中发现带来巨额利润的商机。只有那些利用先进的信息技术成功地收集、分析、理解信息并依据信息进行决策的企业才能获得竞争优势，才是市场的赢家。因此，越来越多的管理者开始借助商务智能技术来发现商务运营过程中存在的问题，找到有利的解决方案。
具体地说，商务智能技术包括：
· 数据仓库(data warehousing)
· 联机分析处理(on-line analytical processing，简称OLAP)
· 数据挖掘（data mining）
包括以上三者在内的用于综合、探察和分析商务数据的先进的信息技术的统称就是商务智能技术。
数据仓库
数据仓库是一个面向主题的、集成的、随时间变化的、非易失的主要用于决策支持的数据的集合。一般来说，大公司或企业内存在着各种各样的信息系统，这些应用驱动的操作型信息系统为企业不同的业务系统服务，具有不同接口和不同的数据表示方法，互相孤立。利用数据仓库技术可以动态地将各个异构系统中的数据抽取集成到一起，进行清洗、转换等处理之后加载到数据仓库中，通过周期性的刷新，为用户提供一个统一的干净的数据视图，为数据分析提供一个高质量的数据源。
OLAP
对于数据仓库中的数据，可以使用一些增强的查询和报表工具进行复杂的查询和即时的报表制作，可以利用OLAP技术从多种角度对业务数据进行多方面的汇总统计计算，还可以利用数据挖掘技术自动发现其中隐含的有用信息。
数据挖掘
数据挖掘又称知识发现（Knowledge Discovery in Database，简称KDD），是从大量数据中抽取有意义的、隐含的、以前未知的并有潜在使用价值的知识的过程。数据挖掘是一个多学科交叉性学科，它涉及统计学、机器学习、数据库、模式识别、可视化以及高性能计算等多个学科。利用数据挖掘技术可以分析各种类型的数据，例如结构化数据、半结构化数据以及非结构化数据、静态的历史数据和动态数据流数据等。
数据挖掘对象分类
关系数据库(relational database)中通常存储和管理的是结构化的数据，它将一个实体的各方面信息通过离散的属性进行描述。而文本数据库（text database）或文档数据库（document database）则通常存储和管理的是半结构化的数据，例如新闻稿件、研究论文、电子邮件、书籍以及WEB页面等都属于半结构化数据。空间数据库、多媒体数据库中存放的是非结构化数据，例如地图、图片、音频、视频等都属于非结构化数据。相对于半结构化和非结构化数据来说，针对结构化数据的数据挖掘技术比较成熟，市场上有很多的商品软件可以使用，用的较多的包括IBM Intelligent Miner、SAS Enterprise Miner、SGI MineSet、Clementine SPSS以及Microsoft SQL Server 2000等。关于半结构化和非结构化的数据挖掘软件尚不多，相应的算法相对还较少。IBM Intelligent Miner for Text是IBM公司开发的针对文本的挖掘软件。
从另一个角度来说，数据挖掘的分析对象又可以分为两种类型：静态数据和数据流（data stream）数据。现在的多数数据挖掘算法是用于分析静态数据的。
数据挖掘常用技术
无论要分析的数据对象的类型如何，常用的数据挖掘技术包括关联分析、序列分析、分类、预测、聚类分析以及时间序列分析等。
·关联分析
关联分析主要用于发现不同事件之间的关联性，即一个事件发生的同时，另一个事件也经常发生。关联分析的重点在于快速发现那些有实用价值的关联发生的事件。其主要依据是事件发生的概率和条件概率应该符合一定的统计意义。
对于结构化的数据，以客户的购买习惯数据为例，利用关联分析，可以发现客户的关联购买需要。例如，一个开设储蓄账户的客户很可能同时进行债券交易和股票交易，购买纸尿裤的男顾客经常同时购买啤酒等。利用这种知识可以采取积极的营销策略，扩展客户购买的产品范围，吸引更多的客户。通过调整商品的布局便于顾客买到经常同时购买的商品，或者通过降低一种商品的价格来促进另一种商品的销售等。
对于非结构化的数据，以空间数据为例，利用关联分析，可以发现地理位置的关联性。例如，85%的靠近高速公路的大城镇与水相邻，或者发现通常与高尔夫球场相邻的对象等。
·序列分析
序列分析技术主要用于发现一定时间间隔内接连发生的事件。这些事件构成一个序列，发现的序列应该具有普遍意义，其依据除了统计上的概率之外，还要加上时间的约束。
·分类分析
分类分析通过分析具有类别的样本的特点，得到决定样本属于各种类别的规则或方法。利用这些规则和方法对未知类别的样本分类时应该具有一定的准确度。其主要方法有基于统计学的贝叶斯方法、神经网络方法、决策树方法以及support vector machines等。
利用分类技术，可以根据顾客的消费水平和基本特征对顾客进行分类，找出对商家有较大利益贡献的重要客户的特征，通过对其进行个性化服务，提高他们的忠诚度。
利用分类技术，可以将大量的半结构化的文本数据，如WEB页面、电子邮件等进行分类。可以将图片进行分类，例如，根据已有图片的特点和类别，可以判定一幅图片属于何种类型的规则。对于空间数据，也可以进行分类分析，例如，可以根据房屋的地理位置决定房屋的档次。
·聚类分析
聚类分析是根据物以类聚的原理，将本身没有类别的样本聚集成不同的组，并且对每一个这样的组进行描述的过程。其主要依据是聚到同一个组中的样本应该彼此相似，而属于不同组的样本应该足够不相似。
仍以客户关系管理为例，利用聚类技术，根据客户的个人特征以及消费数据，可以将客户群体进行细分。例如，可以得到这样的一个消费群体：女性占91%，全部无子女、年龄在31到40岁占70%，高消费级别的占64%，买过针织品的占91%，买过厨房用品的占89%，买过园艺用品的占79%。针对不同的客户群，可以实施不同的营销和服务方式，从而提高客户的满意度。
对于空间数据，根据地理位置以及障碍物的存在情况可以自动进行区域划分。例如，根据分布在不同地理位置的ATM机的情况将居民进行区域划分，根据这一信息，可以有效地进行ATM机的设置规划，避免浪费，同时也避免失掉每一个商机。
对于文本数据，利用聚类技术可以根据文档的内容自动划分类别，从而便于文本的检索。
·预测
预测与分类类似，但预测是根据样本的已知特征估算某个连续类型的变量的取值的过程，而分类则只是用于判别样本所属的离散类别而已。预测常用的技术是回归分析。
·时间序列分析
时间序列分析的是随时间而变化的事件序列，目的是预测未来发展趋势，或者寻找相似发展模式或者是发现周期性发展规律。
现状：与发达国家差距较大
现在，随着我国加入WTO，我国在许多领域，如金融、保险等领域将逐步对外开放，这就意味着许多企业将面临来自国际大型跨国公司的巨大竞争压力。国外发达国家各种企业采用商务智能的水平已经远远超过了我国。美国Palo Alto 管理集团公司1999年对欧洲、北美和日本375家大中型企业的商务智能技术的采用情况进行了调查。结果显示，在金融领域，商务智能技术的应用水平已经达到或接近70%，在营销领域也达到50%，并且在未来的3年中，各个应用领域对该技术的采纳水平都将提高约50%。现在，许多企业都把数据看成宝贵的财富，纷纷利用商务智能发现其中隐藏的信息，借此获得巨额的汇报。
据IDC对欧洲和北美62家采用了商务智能技术的企业的调查分析发现，这些企业的3年平均投资回报率为401%，其中25%的企业的投资回报率超过600%。调查结果还显示，一个企业要想在复杂的环境中获得成功，高层管理者必须能够控制极其复杂的商业结构，若没有详实的事实和数据支持，是很难办到的。因此，随着数据挖掘技术的不断改进和日益成熟，它必将被更多的用户采用，使更多的管理者得到更多的商务智能。
编后其实，商业智能并不是从天而降的，它是伴随这几十年“计算机器”的普及和发展，孕育、产生并变得鲜活起来的。我们欣喜地看到，很多企业已经或者正在利用商业智能增强核心竞争力。从计算机作为办公设备成为普通员工的劳作工具，到办公自动化网络作为组织管理模式的不可缺少的有机构成，再到商业智能作为决策辅助工具，表明了人们在这一领域的认识发展过程：从利用“早期简单智能工具”——对产品客体的认识和加工，到人们对企业组织行为管理过程的认识，再到企业领导者对自身决策行为过程的主体的反思。企业家认识BI，采用BI，代表着人类能够认识客观世界的同时，时刻挑战着自我认知这个最高境界。具体说，采用BI是企业决策者给高管层一个智能化工具，最终使自己的决策更加智慧和敏捷的美妙过程。
相关栏目：
相关文章：
- 1避免上海OA项目失败的十大要项
- 2知识驱动型企业中的信息质量（by AMT 胡鹏）
- 3《电子内容》杂志信息科技100强（Econtent 100）（陈赣峰）
- 4未来之路——Web服务应用方案扫描
- 5基于Web的工作流管理系统的设计与实现
- 6知识未被视为有价值的资产
- 7咨询机构的上海OA
- 8上海OA提升企业竞争力
- 9“管理信息化热点问题讨论”之八：上海OA很好，但到底如何实现（by AMT 孔祥云 徐家俊）
- 10上海OA和信息管理之间的联系和区别（By AMT 宋亮）
- 11WEB服务“不是”什么
- 12Gartner：网络服务业将自行开发管理工具
- 13上海OA的本质及其平衡性分析
- 14架起结构化和非结构化数据之间的桥梁（AMT 唐晓辉 编译）
- 15通往供应链整合的道路：上海OA初步（by AMT 姚磊）
- 16拉美CRM、集成和Web服务热
- 17e信 知识生产新生态
- 18Web服务规范瞄准协作
- 19六奖项入袋 IBM获Web服务杂志读者选择奖
- 20跨越信息访问的鸿沟!（by AMT 方厚政）
- 21传统OA办公软件厂商即将面临的威胁
- 22Amazon和Google开辟Web service新纪元
- 23利用已有优势 Novell不甘在Web服务作配角
- 24善用你的知识财产
- 25泛普OA软件2014年-2018年在大上海重点发展100家代理商
- 26怎样建立一个合理的知识结构
- 27IBM Web服务安全解决方案
- 28上海泛普OA软件分为四个阶段进行管理：
- 29“高管”走了 企业怎么办？
- 30用专家网络进行隐性上海OA
上海OA系统
联系方式
成都公司：成都市成华区建设南路160号1层9号
重庆公司：重庆市江北区红旗河沟华创商务大厦18楼
友情链接