美章网 资料文库 数据挖掘应用范文

数据挖掘应用范文

数据挖掘应用

随着社会信息化不断进步发展,大量的信息充斥在我们的社会中,这就要求我们能从中及时发现有用的知识,做出正确的分析,从而提高决策的正确性。就是在这样的背景下深入地分析数据挖掘的基本概念、挖掘流程及挖掘技术,讨论数据挖掘的一些具体应用。

随着数据库技术的不断发展,数据库和数据仓库已经被广泛地应用于企业管理、产品销售、科学计算和信息服务等领域,数据量的不断增长对数据的存储、管理和分析提出了更高的要求,急需新一代的技术,能够智能化的从大量的数据中提取出有用的信息和知识,于是数据挖掘技术应运而生,且在各行业得到了广泛的应用。如何从海量的数据中找到内在的规律,如何更快更方便地传递、交流、获取有用的信息,挖掘这些激增数据背后隐藏的重要信息并及时进行信息的重组已成为当前我们所探究的热点。

一、数据挖掘概述及分类

数据挖掘是近年来随着数据库技术和人工智能技术的发展而出现的一种多学科交叉的全新信息技术,是指从海量的数据中出潜在的、有价值的知识(模型或规则)的过程,反复使用多种数据挖掘算法从观测数据中确定模式或合理模型。也就是根据预定义的目标,对大量的数据进行探索和分析,揭示其中隐含的规律,并进一步将其模型化的先进有效的技术过程。随着计算机网络的发展和普遍使用,数据挖掘成为迫切需要探究的重要课题。

数据挖掘涉及多个学科方向,主要包括摘要:数据库、统计学和人工智能等。数据挖掘可按数据库类型、挖掘对象、挖掘任务、挖掘方法和技术以及应用等几方面进行分类。按数据库类型分类摘要:关系数据挖掘、模糊数据挖掘、历史数据挖掘、空间数据挖掘等多种不同数据库的数据挖掘类型。按数据挖掘对象分类摘要:文本数据挖掘、多媒体数据挖掘、Web数据挖掘。按数据挖掘的任务有摘要:关联分析、时序模式、聚类、分类、偏差检测、猜测等。按数据挖掘方法和技术分类摘要:归纳学习类、仿生物技术类、公式发现类、统计分析类、模糊数学类、可视化技术类。

二、数据挖掘的基本过程

(1)定义新问题。对目标有一个可行、清楚和明确的定义,同时还包含对一个结果进行衡量的标准。(2)建立数据挖掘库。它主要是指收集数据、维护数据等工作。(3)分析数据。找到对新问题解决影响大的数据字段集和决定是否需要定义导出字段。(4)预备建摸数据。根据新问题的定义,对数据库中的字段变量、记录进行筛选,并根据现有的变量进行转换,生成新的变量和字段。它主要是指为建立模型预备部分数据的过程。(5)建立模型。选择一定的挖掘算法来处理数据,它需考察不同的模型用以判定和选择解决新问题最有效、精确度较好的一种数据挖掘模式。(6)模型的评价和解释。模型建立后,必须有一个对它的结果进行评价、对它的价值进行解释的过程。(7)实施。模型建立并验证之后通常有两种使用方法。一种是提供给分析人员作参考和分析这个模型之后的行动方案及建议。另一种是在应用了模型之后,还需不断地监控其效果,因为事物在不断地发展变化,有可能一段时间后,模型就不再起功能川。在以上数据挖掘的基本过程中,其中数据预备、数据选择、预处理、数据缩减的阶段主要以完成数据仓库为主;目标确定、算法确定、数据挖掘、模式识别和知识评价这几个阶段,主要以挖掘有用的知识为主,为知识发现做预备。

三、数据挖据的应用

数据挖掘技术源于商业的直接需求,因此它在各种商业领域都存在广泛的使用价值。现在已经应用数据挖掘技术的领域都是信息量大、环境复杂、需要知识帮助进行管理和决策的领域。下面介绍一些目前比较活跃的应用方向摘要:

(一)在金融数据分析中的应用。多数银行和金融机构都提供了丰富多样的储蓄,信用,投资,保险等服务。他们产生的金融数据通常比较完整、可靠,这对系统化的数据分析和数据挖掘相当有利。在具体的应用中,采用多维数据分析来分析这些数据的一般特性,观察金融市场的变化趋向;通过特征选择和属性相关性计算,识别关键因素,进行贷款偿付猜测和客户信用分析;利用分类和聚集的方法对用户群体进行识别和目标市场分析;使用数据可视化、链接分析、分类、聚类分析、孤立点分析、序列模式分析等工具侦破洗黑钱和其他金融犯罪行为。

(二)在电力业的应用。在电力行业中,数据挖掘技术主要用于指导设备更新、业绩评估、指导电力企业的建设规划、指导电力的生产和购买、指导电力的调度等。数据挖掘在电力企业的其它方面也有巨大的用处,比如说指导项目管理、平安管理、资源管理、投资组合管理、活动分析、销售猜测、收入猜测、需求猜测、理赔分析等。而且当使用数据挖掘系统时,用户会对模型进行调优和定制。这将会逐步积累符合企业自身需要的模型库,成为企业知识库的重要组成部分。

(三)在零售业中的应用。零售业是数据挖掘的主要应用领域,这是因为零售业积累了大量的销售数据,如顾客购买史记录、货物进出、消费和服务记录以及流行的电子商务等等都为数据挖掘提供了丰富的数据资源。零售数据挖掘有助于划分顾客群体,使用交互式询问技术、分类技术和猜测技术,更精确地挑选潜在的顾客;识别顾客购买行为,发现顾客购买模式和趋向,进行关联分析,以便更好地进行货架摆设;改进服务质量,获得更好的顾客忠诚度和满足程度;提高货品的销量比率,设计更好的货品运输和分销策略,减少商业成本;寻找描述性的模式,以便更好地进行市场分析等等。

(四)在医学上的应用。近年来,生物医学探究有了迅猛地发展,从新药的开发到癌症治疗的突破,到通过大规模序列模式和基因功能的发现,进行人类基因的识别和探究。在人类基因探究领域具有挑战性的新问题是从中找出导致各种疾病的特定基因序列模式。由于数据挖掘中已经有许多有意义的序列模式分析和相似检索技术,因此数据挖掘成为DNA分析中的强有力工具。利用数据挖掘技术在DNA数据的分析探究中可以进行DNA序列间的相似搜索和比较,对同时出现的基因序列的相关分析,遗传探究中的路径分析等。近期DNA分析的探究成果已经促成了对许多疾病和残疾基因成因的发现,以及对疾病诊断、预防和治疗的新药物、新方法的发现。

(五)在高校和科研单位以及其他领域的应用。主要是用于海量信息数据的抽取,提供给教研和科研人员有价值的数据。比如在数字图书馆方面可以引入数据挖掘技术。同时还可以应用的电子商务等等众多领域。

四、结束语

本文讨论了数据挖掘的概念、数据挖掘的分类、数据挖掘的基本过程等内容,并对数据挖掘的一些具体的应用进行了阐述。伴随着社会信息化的到来以及数据信息不断地增长,数据挖掘将会被广泛而深入地应用于人类生活的各个领域。