数据挖掘可以简单的理解为从大量数据中提取或挖掘知识或者说是知识发现。
数据挖掘其实是一种深层次的数据分析方法。数据挖掘可以描述为:按企业既定业务目标,对大量的企业数据进行探索和分析,揭示隐藏的、未知的或验证已知的规律性,并进一步将其模型化的先进有效的方法。
数据挖掘利用计算机技术获取隐藏在大量数据背后的信息,满足一个行业或企业的需求,为企业或管理层的决策提供依据。从目前大数据公司的发展来看,它们正处于信息收集和简要分析阶段,规模经济效应相对较少。
从目前该行业的发展前景来看,未来是巨大的,能够产生的经济效应可以说是几何倍数的。迫切需要的是数据分析师或模型架构师来构建满足行业需求的数据挖掘模块并进行需求分析。换言之,前景无限,目前专业人才短缺。
数据挖掘的应用场景很多。比如,数据挖掘能帮助零售商了解“谁是最有价值的顾客”、“什么产品可以交叉销售或提升销售”、“公司明年的营收前景如何”;可以帮助地球科学家了解“干旱和飓风等生态系统扰动的频度和强度与全球变暖之间有何联系”、“海洋表面温度对地表降水量和温度有何影响”、“如何准确地预测一个地区的生长季节的开始和结束?”等等。
数据挖掘应用了众多领域的思想,包括来自统计学的抽样、估计和假设检验;来自人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论等。
贯穿数据挖掘的的思想主要有四个:关联,分类,回归分析和聚类。前两条是为了寻找差异基因,后两条是预测差异基因的可能的属性。
第一步:数据清理(消除噪声和不一致数据)
第二步:数据集成(不同来源与格式的数据组合到一起)
第三步:数据选择(挖掘所需的数据)
第四步:数据变换(数据变换成适合挖掘的形式,如汇总,聚集操作)
第五步:数据挖掘(方法,建模)
第六步:模式评估(结果模型)
第七步:知识表示(可视化)
数据挖掘涉及的内容比较泛,与之相关的内容包括数据库、数据仓库、机器学习、信息检索。
学习数据挖掘基础:数据库理论、数学基础(包括数理统计、概率、图论等)、熟练掌握一种编程语言(java,python)、会使用数据挖掘工具软件(weka、matlab、spss)等。
数据挖掘的内容包括分类、关联分析、聚类和异常检测等几个方面。
分类算法:C4.5,朴素贝叶斯(Naive Bayes),SVM,KNN,Adaboost
聚类算法:K-Means,EM
关联分析: PageRank
数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
数据挖掘流程:
定义问题:清晰地定义出业务问题,确定数据挖掘的目的。
数据准备:数据准备包括:选择数据–在大型数据库和数据仓库目标中 提取数据挖掘的目标数据集;数据预处理–进行数据再加工,包括检查数据的完整性及数据的一致性、去噪声,填补丢失的域,删除无效数据等。
数据挖掘:根据数据功能的类型和和数据的特点选择相应的算法,在净化和转换过的数据集上进行数据挖掘。
结果分析:对数据挖掘的结果进行解释和评价,转换成为能够最终被用户理解的知识。
数据挖掘的技术,可粗分为:统计方法、机器学习方法、神经网络方法和数据库方法。统计方法,可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、CBR、遗传算法、贝叶斯信念网络等。神经网络方法,可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是基于可视化的多维数据分析或OLAP方法,另外还有面向属性的归纳方法。
数据挖掘的方法:
1.分类 (Classification)
2.估计(Estimation)
3.预测(Prediction)
4.相关性分组或关联规则(Affinity grouping or association rules)
5.聚类(Clustering)
6.复杂数据类型挖掘(Text,Web ,图形图像,视频,音频等)
数据挖掘
数据挖掘(英语:Data mining),又译为资料探勘、数据采矿。它是数据库知识发现(英
语:Knowledge-Discovery in Databases,简称:KDD)中的一个步骤。数据挖掘一般是指从
大量的数据中自动搜索隐藏于其中的有着特殊关系性(属于Association rule learning)的信
息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学
习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。
本回答被网友采纳