数据挖掘标准作业流程,主要分为哪几个步骤

数据挖掘标准作业流程,主要分为哪几个步骤,第1张

数据挖掘建模的标准流程,同时亦称为跨产业数据挖掘标准作业程序,数据挖掘主要分为商业定义、数据理解、数据预处理、建立模型、实施六步,各步骤的叙述说明如下:

1.定义商业问题,数据挖掘的中心价值主要在于商业问题上,所以初步阶段必须对组织的问题与需求深入了解,经过不断与组织讨论与确认之后,拟订一个详尽且可达成的方案。

2.数据理解,定义所需要的数据,收集完整数据,并对收集的数据做初步分析,包括识别数据的质量问题、对数据做基本观察、除去噪声或不完整的数据,可提升数据预处理的效率,接着设立假设前提。

3.数据预处理,因为数据源不同,常会有格式不一致等问题。因此在建立模型之前必须进行多次的检查修正,以确保数据完整并得到净化。

4.建立模型,根据数据形式,选择最适合的数据挖掘技术并利用不同的数据进行模型测试,以优化预测模型,模型愈精准,有效性及可靠度愈高,对决策者做出正确的决策愈有利。

5.评价和理解,在测试中得到的结果,只对该数据有意义。实际应用中,使用不同的数据集其准确度便会有所差异 ,因此,此步骤最重要的目的便是了解是否有尚未被考虑到的商业问题盲点。

6.实施,数据挖掘流程通过良性循环,最后将整合过后的模型应用于商业,但模型的完成并非代表整个项目完成,知识的获得也可以通过组织化、自动化等机制进行预测应用,该阶段包含部署计划、监督、维护、传承与最后的报告结果,形成整个工作循环。

从数据本身来考虑,通常数据挖掘需要有数据清理、数据变换、数据挖掘实施过程、模式评估和知识表示等8个步骤。

(1) 信息收集:根据确定的数据分析对象抽象出在数据分析中所需要的特征信息,然后选择合适的信息收集方法,将收集到的信息存入数据库。对于海量数据,选择一个合适的数据存储和管理的数据仓库是至关重要的。

(2) 数据集成:把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。

(3) 数据规约:执行多数的数据挖掘算法即使在少量数据上也需要很长的时间,而做商业运营数据挖掘时往往数据量非常大。数据规约技术可以用来得到数据集的规约表示,它小得多,但仍然接近于保持原数据的完整性,并且规约后执行数据挖掘结果与规约前执行结果相同或几乎相同。

(4) 数据清理:在数据库中的数据有一些是不完整的(有些感兴趣的属性缺少属性值),含噪声的(包含错误的属性值),并且是不一致的(同样的信息不同的表示方式),因此需要进行数据清理,将完整、正确、一致的数据信息存入数据仓库中。不然,挖掘的结果会差强人意。

(5) 数据变换:通过平滑聚集,数据概化,规范化等方式将数据转换成适用于数据挖掘的形式。对于有些实数型数据,通过概念分层和数据的离散化来转换数据也是重要的一步。

(6) 数据挖掘过程:根据数据仓库中的数据信息,选择合适的分析工具,应用统计方法、事例推理、决策树、规则推理、模糊集、甚至神经网络、遗传算法的方法处理信息,得出有用的分析信息。

(7) 模式评估:从商业角度,由行业专家来验证数据挖掘结果的正确性。

(8) 知识表示:将数据挖掘所得到的分析信息以可视化的方式呈现给用户,或作为新的知识存放在知识库中,供其他应用程序使用。

数据挖掘过程是一个反复循环的过程,每一个步骤如果没有达到预期目标,都需要回到前面的步骤,重新调整并执行。不是每件数据挖掘的工作都需要这里列出的每一步,例如在某个工作中不存在多个数据源的时候,步骤(2)数据集成的步骤便可以省略。

步骤(3)数据规约(4)数据清理(5)数据变换又合称数据预处理。在数据挖掘中,至少60%的费用可能要花在步骤(1)信息收集阶段,而至少60%以上的精力和时间是花在数据预处理


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/12142096.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-21
下一篇 2023-05-21

发表评论

登录后才能评论

评论列表(0条)

保存