数据挖掘中数据存储的重要性

随着互联网的蓬勃兴起，物联网，云计算，大数据，人工智能在大众视野出现的越来越频繁了。

云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
大数据相当于人的大脑从小学到大学记忆和存储的海量知识，这些知识只有通过消化，吸收、再造才能创造出更大的价值。
人工智能打个比喻为一个人吸收了人类大量的知识（数据），不断的深度学习、进化成为一方高人。人工智能离不开大数据，更是基于云计算平台完成深度学习进化。
而物联网是互联网的应用拓展，类似以前的“互联网+”，也就是结合互联网的业务和应用，核心是以用户体验为核心的应用创新。
我们主要讲一下其中的“大数据”。
大数据的定义
在 2001 年左右，Gartner 就大数据提出了如下定义（目前仍是关于大数据的权威解释）：大数据指高速 (Velocity) 涌现的大量 (Volume) 的多样化 (Variety) 数据。这一定义表明大数据具有 3V 特性。
简而言之，大数据指越来越庞大、越来越复杂的数据集，特别是来自全新数据源的数据集，其规模之大令传统数据处理软件束手无策，却能帮助我们解决以往非常棘手的业务难题。

大数据的价值和真实性
在过去几年里，大数据的定义又新增加了两个 "V"：价值 (Value) 和 真实性 (Veracity)。
首先，数据固然蕴含着价值，但是如果不通过适当方法将其价值挖掘出来，数据就毫无用处。其次，只有真实、可靠的数据才有意义。
如今，大数据已成为一种资本，全球各个大型技术公司无不基于大数据工作原理，在各种大数据用例中通过持续分析数据提高运营效率，促进新产品研发，他们所创造的大部分价值无不来自于他们掌握的数据。
目前，众多前沿技术突破令数据存储和计算成本呈指数级下降。相比过去，企业能够以更低的经济投入更轻松地存储更多数据，而凭借经济、易于访问的海量大数据，您可以轻松做出更准确、更精准的业务决策。
然而，从大数据工作原理角度来讲，大数据价值挖掘是一个完整的探索过程而不仅仅是数据分析，它需要富有洞察力的分析师、业务用户和管理人员在大数据用例中有针对性地提出有效问题、识别数据模式、提出合理假设并准确开展行为预测。
大数据的历史
虽然大数据这个概念是最近才提出的，但大型数据集的起源却可追溯至 1960 - 70 年代。当时数据世界正处于萌芽阶段，全球第一批数据中心和首个关系数据库便是在那个时代出现的。
2005 年左右，人们开始意识到用户在使用 Facebook、YouTube 以及其他在线服务时生成了海量数据。同一年，专为存储和分析大型数据集而开发的开源框架 Hadoop 问世，NoSQL 也在同一时期开始慢慢普及开来。
Hadoop 及后来 Spark 等开源框架的问世对于大数据的发展具有重要意义，正是它们降低了数据存储成本，让大数据更易于使用。在随后几年里，大数据数量进一步呈爆炸式增长。时至今日，全世界的“用户”— 不仅有人，还有机器 — 仍在持续生成海量数据。
随着物联网 (IoT) 的兴起，如今越来越多的设备接入了互联网，它们大量收集客户的使用模式和产品性能数据，而机器学习的出现也进一步加速了数据量的增长。
然而，尽管已经出现了很长一段时间，人们对大数据的利用才刚刚开始。今天，云计算进一步释放了大数据的潜力，通过提供真正的d性 / 可扩展性，它让开发人员能够轻松启动 Ad Hoc 集群来测试数据子集。
大数据和数据分析的优势：
1大数据意味着更多信息，可为您提供更全面的洞察。
2更全面的洞察意味着更高的可靠性，有助于您开发全新解决方案。
其次，大数据还具有大量、高速、多样化、密度低四大特性。
大量性：大数据与传统数据最大的差异在于资料量，资料量远大于传统数据，例如抖音数据流、百度点击流，面对的是海量低密度的数据，大数据的数据量通常高达数十PB。也因为资料量大，无法以传统的方式储存处理，因此衍生出大数据这一新兴科学。
高速性：大数据与传统数据最大的不同点，就是生成速度快。由于网际网路兴起与资讯设备普及，以用户突破20亿人的脸书为例，如果每个用户每天发一条消息，就会有20亿笔资料。每一个人随时随地都可以创造数据，数据生成的速度已非过去可比拟。
多样性：多样化是指可用的数据类型众多，随着大数据的兴起，文本、音频和视频等数据类型不断涌现，它们需要经过额外的预处理 *** 作才能真正提供洞察和支持性元数据。由于形式多元复杂，大数据储存也需要不同于传统数据的储存技术。
密度低：数据价值密度相对较低，随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。
大数据的挑战
1安全挑战
尽管大数据由于应用范围广泛，已成为各领域的发展趋势，但数据的公布有时会伴随使用者隐私的曝光，比如FaceBook资料外泄、Google+个人外泄风波等因数据外泄而引发隐私问题的事件层出不穷。用户的哪些数据是可以获取、哪些是不允许读取，始终存在侵犯用户隐私的法律风险。
2技术创新
大数据需要从底层芯片到基础软件再到应用分析软件等信息产业全产业链的支撑，无论是新型计算平台、分布式计算架构，还是大数据处理、分析和呈现方面与国外均存在较大差距，对开源技术和相关生态系统的影响力仍然较弱，总体上难以满足各行各业大数据应用需求。
3成本过高
运营商需要处理的数据量巨大，基本都是以PB为单位，处理这些数据需要巨大的投入。
4实时性
具有实时性的数据才有价值，存储的数据数据时间越长，数据的价值就越低。在如今这个快节奏的社会，每一天的市场都瞬息万变，品牌商通过大数据分析用户的需求，如果得到的用户数据太过陈旧，参考这些数据来规划产品的方向，可能会对企业的发展造成毁灭性的打击。
无论哪个行业，想要在当今的形势下取得成功，都必须能够不断地从数据中挖掘业务价值，因此数据的保护离不开存储器，当下市面上用于大数据的存储器主要有固态硬盘，混合硬盘，传统硬盘。
固态硬盘(SSD)，由控制单元和存储单元，组成。固态硬盘的接口规格、定义、功能和用途与普通硬盘相同，形状和尺寸也与普通硬盘相同。广泛应用于军事、车辆、工业控制、视频监控、网络监控、网络终端、电力、医疗、航空、导航设备等领域。
优点：读写速度快；震动；低功耗。无噪音；工作温度范围广；缺点：容量小；寿命有限；价格高。
混合硬盘是一种由传统硬盘和闪存模块组成的大容量存储设备。闪存处理存储器中最常写入或恢复的数据。许多公司都在提供不同的技术，他们希望这些技术能在高端系统中流行起来，特别是笔记本电脑和掌上电脑。
与传统硬盘相比，混合硬盘具有许多优势：更快的数据存储和恢复应用程序，如文字处理器；缩短系统启动时间；降低功耗；减少热量产生；延长硬盘寿命；笔记本电脑和笔记本电脑电池寿命；降低噪音水平：
传统硬盘指的是机械硬盘（HDD），电脑最基本的内存，我们常说电脑硬盘C盘，D盘是磁盘分区，属于硬盘。目前普通硬盘的容量有80G、128g、160g、256g、320g、500g、750g、1TB、2TB等，按容量可分为35英寸、25英寸、18英寸、5400rpm/7200rpm/10000rpm等。
通过物联网产生、收集海量的数据存储于云平台，再通过大数据分析，甚至更高形式的人工智能为人类的生产活动，生活所需提供更好的服务，这一切所产生的数据承载者——存储器，在第四次工业革命进化的方向中，存储行业也将是一颗亮眼的星。

物联网就业前景很好，物联网产业具有产业链长、涉及多个产业群的特点，其应用范围几乎覆盖了各行各业。

物联网专业是教育部允许高校增设新专业后，高校申请最多的学校，这也说明了国家对物联网经济的重视和人才培养的迫切性。物联网的产业规模比互联网产业大20倍以上，而物联网技术领域需要的人才每年也将在百万人的量级。

物联网的基本特征从通信对象和过程来看，物与物、人与物之间的信息交互是物联网的核心。物联网的基本特征可概括为整体感知、可靠传输和智能处理。

整体感知—可以利用射频识别、二维码、智能传感器等感知设备感知获取物体的各类信息。

可靠传输—通过对互联网、无线网络的融合，将物体的信息实时、准确地传送，以便信息交流、分享。

智能处理—使用各种智能技术，对感知和传送到的数据、信息进行分析处理，实现监测与控制的智能化。

物联网的发展前景很不错，具体如下：
1更安全的保护措施。在新技术出现之初，它的技术力量几乎都集中在创新上，导致监管水平低下，这就使业界的兴奋、激进和政策、监管的滞后常常形成鲜明的对比。由于物联网设备和基础设施的价格下降，企业在物联网设备上的应用也越来越普遍，这种创新和应用一旦普及，各种新技术的风险也突显出来。
2更普遍使用智能消费品设备。IoT所覆盖的行业人群广泛，从智慧交通、智能物流、医疗、农业、能源等行业应用，到私人智能家居、个人、智能汽车等应用，无论是降低成本，还是提高中国居民的生活质量，都将是中国居民生活质量的巨大提升。

---