大数据技术发展史：大数据的前世今生
今天我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。
你知道，搜索引擎主要就做两件事情，一个是网页抓取，一个是索引构建，而在这个过程中，有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的，你从介绍中也能看出来，一个文件系统、一个计算框架、一个数据库系统。
现在你听到分布式、大数据之类的词，肯定一点儿也不陌生。但你要知道，在2004年那会儿，整个互联网还处于懵懂时代，Google发布的论文实在是让业界为之一振，大家恍然大悟，原来还可以这么玩。
因为那个时间段，大多数公司的关注点其实还是聚焦在单机上，在思考如何提升单机的性能，寻找更贵更好的服务器。而Google的思路是部署一个大规模的服务器集群，通过分布式的方式将海量数据存储在这个集群上，然后利用集群上的所有机器进行数据计算。 这样，Google其实不需要买很多很贵的服务器，它只要把这些普通的机器组织到一起，就非常厉害了。
当时的天才程序员，也是Lucene开源项目的创始人Doug Cutting正在开发开源搜索引擎Nutch，阅读了Google的论文后，他非常兴奋，紧接着就根据论文原理初步实现了类似GFS和MapReduce的功能。
两年后的2006年，Doug Cutting将这些大数据相关的功能从Nutch中分离了出来，然后启动了一个独立的项目专门开发维护大数据技术，这就是后来赫赫有名的Hadoop，主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce。
当我们回顾软件开发的历史，包括我们自己开发的软件，你会发现，有的软件在开发出来以后无人问津或者寥寥数人使用，这样的软件其实在所有开发出来的软件中占大多数。而有的软件则可能会开创一个行业，每年创造数百亿美元的价值，创造百万计的就业岗位，这些软件曾经是Windows、Linux、Java，而现在这个名单要加上Hadoop的名字。
如果有时间，你可以简单浏览下Hadoop的代码，这个纯用Java编写的软件其实并没有什么高深的技术难点，使用的也都是一些最基础的编程技巧，也没有什么出奇之处，但是它却给社会带来巨大的影响，甚至带动一场深刻的科技革命，推动了人工智能的发展与进步。
我觉得，我们在做软件开发的时候，也可以多思考一下，我们所开发软件的价值点在哪里？真正需要使用软件实现价值的地方在哪里？你应该关注业务、理解业务，有价值导向，用自己的技术为公司创造真正的价值，进而实现自己的人生价值。而不是整天埋头在需求说明文档里，做一个没有思考的代码机器人。
Hadoop发布之后，Yahoo很快就用了起来。大概又过了一年到了2007年，百度和阿里巴巴也开始使用Hadoop进行大数据存储与计算。
2008年，Hadoop正式成为Apache的顶级项目，后来Doug Cutting本人也成为了Apache基金会的主席。自此，Hadoop作为软件开发领域的一颗明星冉冉升起。
同年，专门运营Hadoop的商业公司Cloudera成立，Hadoop得到进一步的商业支持。
这个时候，Yahoo的一些人觉得用MapReduce进行大数据编程太麻烦了，于是便开发了Pig。Pig是一种脚本语言，使用类SQL的语法，开发者可以用Pig脚本描述要对大数据集上进行的 *** 作，Pig经过编译后会生成MapReduce程序，然后在Hadoop上运行。
编写Pig脚本虽然比直接MapReduce编程容易，但是依然需要学习新的脚本语法。于是Facebook又发布了Hive。Hive支持使用SQL语法来进行大数据计算，比如说你可以写个Select语句进行数据查询，然后Hive会把SQL语句转化成MapReduce的计算程序。
这样，熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive出现后极大程度地降低了Hadoop的使用难度，迅速得到开发者和企业的追捧。据说，2011年的时候，Facebook大数据平台上运行的作业90%都来源于Hive。
随后，众多Hadoop周边产品开始出现，大数据生态体系逐渐形成，其中包括：专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop；针对大规模日志进行分布式收集、聚合和传输的Flume；MapReduce工作流调度引擎Oozie等。
在Hadoop早期，MapReduce既是一个执行引擎，又是一个资源调度框架，服务器集群的资源调度管理由MapReduce自己完成。但是这样不利于资源复用，也使得MapReduce非常臃肿。于是一个新项目启动了，将MapReduce执行引擎和资源调度分离开来，这就是Yarn。2012年，Yarn成为一个独立的项目开始运营，随后被各类大数据产品支持，成为大数据平台上最主流的资源调度系统。
同样是在2012年，UC伯克利AMP实验室（Algorithms、Machine和People的缩写）开发的Spark开始崭露头角。当时AMP实验室的马铁博士发现使用MapReduce进行机器学习计算的时候性能非常差，因为机器学习算法通常需要进行很多次的迭代计算，而MapReduce每执行一次Map和Reduce计算都需要重新启动一次作业，带来大量的无谓消耗。还有一点就是MapReduce主要使用磁盘作为存储介质，而2012年的时候，内存已经突破容量和成本限制，成为数据运行过程中主要的存储介质。Spark一经推出，立即受到业界的追捧，并逐步替代MapReduce在企业应用中的地位。
一般说来，像MapReduce、Spark这类计算框架处理的业务场景都被称作批处理计算，因为它们通常针对以“天”为单位产生的数据进行一次计算，然后得到需要的结果，这中间计算需要花费的时间大概是几十分钟甚至更长的时间。因为计算的数据是非在线得到的实时数据，而是历史数据，所以这类计算也被称为大数据离线计算。
而在大数据领域，还有另外一类应用场景，它们需要对实时产生的大量数据进行即时计算，比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算，相应地，有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。 流式计算要处理的数据是实时在线产生的数据，所以这类计算也被称为大数据实时计算。
在典型的大数据的业务场景下，数据业务最通用的做法是，采用批处理的技术处理历史全量数据，采用流式计算处理实时新增数据。而像Flink这样的计算引擎，可以同时支持流式计算和批处理计算。
除了大数据批处理和流处理，NoSQL系统处理的主要也是大规模海量数据的存储与访问，所以也被归为大数据技术。 NoSQL曾经在2011年左右非常火爆，涌现出HBase、Cassandra等许多优秀的产品，其中HBase是从Hadoop中分离出来的、基于HDFS的NoSQL系统。
我们回顾软件发展的历史会发现，差不多类似功能的软件，它们出现的时间都非常接近，比如Linux和Windows都是在90年代初出现，Java开发中的各类MVC框架也基本都是同期出现，Android和iOS也是前脚后脚问世。2011年前后，各种NoSQL数据库也是层出不群，我也是在那个时候参与开发了阿里巴巴自己的NoSQL系统。
事物发展有自己的潮流和规律，当你身处潮流之中的时候，要紧紧抓住潮流的机会，想办法脱颖而出，即使没有成功，也会更加洞悉时代的脉搏，收获珍贵的知识和经验。而如果潮流已经退去，这个时候再去往这个方向上努力，只会收获迷茫与压抑，对时代、对自己都没有什么帮助。
但是时代的浪潮犹如海滩上的浪花，总是一浪接着一浪，只要你站在海边，身处这个行业之中，下一个浪潮很快又会到来。你需要敏感而又深刻地去观察，略去那些浮躁的泡沫，抓住真正潮流的机会，奋力一搏，不管成败，都不会遗憾。
正所谓在历史前进的逻辑中前进，在时代发展的潮流中发展。通俗的说，就是要在风口中飞翔。
上面我讲的这些基本上都可以归类为大数据引擎或者大数据框架。而大数据处理的主要应用场景包括数据分析、数据挖掘与机器学习。数据分析主要使用Hive、Spark SQL等SQL引擎完成；数据挖掘与机器学习则有专门的机器学习框架TensorFlow、Mahout以及MLlib等，内置了主要的机器学习和数据挖掘算法。
此外，大数据要存入分布式文件系统（HDFS），要有序调度MapReduce和Spark作业执行，并能把执行结果写入到各个应用系统的数据库中，还需要有一个大数据平台整合所有这些大数据组件和企业应用系统。
图中的所有这些框架、平台以及相关的算法共同构成了大数据的技术体系，我将会在专栏后面逐个分析，帮你能够对大数据技术原理和应用算法构建起完整的知识体系，进可以专职从事大数据开发，退可以在自己的应用开发中更好地和大数据集成，掌控自己的项目。
希望对您有所帮助！~
数据库营销是为了实现接洽、交易和建立客户关系等目标而建立、维护和利用顾客数据与其他顾客资料的过程。数据库营销（Database Marketing Service，DMS）是在IT、Internet与 Database技术发展上逐渐兴起和成熟起来的一种市场营销推广手段，在企业市场营销行为中具备广阔的发展前景。它不仅仅是一种营销方法、工具、技术和平台，更重要的是一种企业经营理念，也改变了企业的市场营销模式与服务模式，从本质上讲是改变了企业营销的基本价值观。通过收集和积累消费者大量的信息，经过处理后预测消费者有多大可能去购买某种产品，以及利用这些信息给产品以精确定位，有针对性地制作营销信息达到说服消费者去购买产品地目的。通过数据库的建立和分析，各个部门都对顾客的资料有详细全面的了解，可以给予顾客更加个性化的服务支持和营销设计，使 “ 一对一的顾客关系管理 ” 成为可能。数据库营销在西方发达国家的企业里已相当普及，在美国，1994年Donnelley Marketing 公司的调查显示，56% 的零售商和制造商有营销数据库，10%的零售商和制造商正在计划建设营销数据库，85%的零售商和制造商认为在本世纪末，他们将需要一个强大的营销数据库来支持他们的竞争实力。从全球来看，数据库营销作为市场营销的一种形式，正越来越受到企业管理者的青睐，在维系顾客、提高销售额中扮演着越来越重要的作用。
一、宏观功能——市场预测和实时反应
客户数据库的各种原始数据，可以利用 “ 数据挖掘技术 ” 和 “ 智能分析 ” 在潜在的数据中发现赢利机会。基于顾客年龄、性别、人口统计数据和其它类似因素，对顾客购买某一具体货物可能性作出预测；能够根据数据库中顾客信息特征有针对性的判定营销策略，促销手段，提高营销效率，帮助公司决定制造适销的产品以及使产品制定合适的价格；可以以所有可能的方式研究数据，按地区、国家、顾客大小、产品、销售人员、甚至按邮编，从而比较出不同市场销售业绩，找出数字背后的原因，挖掘出市场潜力。企业产品质量上或者功能的反馈信息首先通过市场、销售、服务等一线人员从面对面的顾客口中得知，把有关的信息整理好以后，输入数据库，定期对市场上的顾客信息进行分析，提出报告，帮助产品在工艺或功能上的改善和完美，产品开发部门作出前瞻性的研究和开发；管理人员可以根据市场上的实时信息随时调整生产和原料的采购，或者调整生产产品的品种，最大限度的减少库存，做到 “ 适时性生产 ” （ JIT ）。
二、微观功能——分析每位顾客的赢利率
事实上，对于一个企业来说，真正给企业带来丰厚利润的顾客只占所有顾客中的 20% ，他们是企业的最佳顾客，赢利率是最高的，对这些顾客，企业应该提供特别的服务、折扣或奖励，并要保持足够的警惕，因为竞争对手也是瞄准这些顾客发动竞争攻击的。然而绝大多数的企业的顾客战略只是获取顾客，很少花精力去辨别和保护他们的最佳顾客，同时去除不良顾客；他们也很少花精力考虑到竞争者手中去策反顾客，增加产品和服务，来提高赢利率。利用企业数据库中的详细资料我们能够深入到信息的微观程度，加强顾客区分的统计技术，计算每位顾客的赢利率，然后去抢夺竞争者的最佳顾客，保护好自己的最佳顾客，培养自己极具潜力的顾客，驱逐自己最差的顾客。通用电气公司的消费者数据库能显示每个顾客的各种详细资料，保存了每次的交易记录。他们可以根据消费者购买公司家用电器的历史，来判断谁对公司和新式录象机感兴趣，能确认谁是公司的大买主，并给他们送上价值30 美圆的小礼物，以换取他们对公司产生下一次的购买。
目前在我国，传统的营销方式仍占据着相当的地位，数据库营销只是对传统营销方式的补充和改变。但从长期看，数据库营销必将随着企业管理水平、尤其是营销管理水平的提升而得到创新使用。现在一些具有领先观念的企业如上海罗氏、通用汽车、广东美的已经建设了CRM 系统。
随着经济的日益发展和信息技术对传统产业的改造，消费者的个性化需求的满足成为了可能，中国加入WTO 以后，企业将面临更加严峻的形势，如何在这场强敌环饲的角力中胜出，需要全方位的提升企业的竞争力——特别是企业的客户信息能力，作为企业经营战略中非常重要的营销体制也必须吸收西方先进的营销理念和手段，革除传统营销模式的弊端，数据库营销是先进的营销理念和现代信息技术的结晶，必然是企业未来的选择。
数据库营销的基本作用
（1）更加充分地了解顾客的需要。
（2）为顾客提供更好的服务。顾客数据库中的资料是个性化营销和顾客关系管理的重要基础。
（3）对顾客的价值进行评估。通过区分高价值顾客和一般顾客，对各类顾客采取相应的营销策略。
（4）了解顾客的价值。利用数据库的资料，可以计算顾客生命周期的价值，以及顾客的价值周期。
（5）分析顾客需求行为。根据顾客的历史资料不仅可以预测需求趋势，还可以评估需求倾向的改变。
（6）市场调查和预测。数据库为市场调查提供了丰富的资料，根据顾客的资料可以分析潜在的目标市场。
与传统的数据库营销相比，网络数据库营销的独特价值主要表现在三个方面：动态更新、顾客主动加入、改善顾客关系。
（1）动态更新
在传统的数据库营销中，无论是获取新的顾客资料，还是对顾客反应的跟踪都需要较长的时间，而且反馈率通常较低，收集到的反馈信息还需要繁琐的人工录入，因而数据库的更新效率很低，更新周期比较长，同时也造成了过期、无效数据记录比例较高，数据库维护成本相应也比较高。 网络数据库营销具有数据量大、易于修改、能实现动态数据更新、便于远程维护等多种优点，还可以实现顾客资料的自我更新。网络数据库的动态更新功能不仅节约了大量的时间和资金，同时也更加精确地实现了营销定位，从而有助于改善营销效果。
（2）顾客主动加入
仅靠现有顾客资料的数据库是不够的，除了对现有资料不断更新维护之外，还需要不断挖掘潜在顾客的资料，这项工作也是数据库营销策略的重要内容。在没有借助互联网的情况下，寻找潜在顾客的信息一般比较难，要花很大代价，比如利用有奖销售或者免费使用等机会要求顾客填写某种包含有用信息的表格，不仅需要投入大量资金和人力，而且又受地理区域的限制，覆盖的范围非常有限。
在网络营销环境中，顾客数据在增加要方便得多，而且往往是顾客自愿加入网站的数据库。最新的调查表明，为了获得个性化服务或获得有价值的信息，有超过50%的顾客愿意提供自己的部分个人信息，这对于网络营销人员来说，无疑是一个好消息。请求顾客加入数据库的通常的做法是在网站设置一些表格，在要求顾客注册为会员时填写。但是，网上的信息很丰富，对顾客资源的争夺也很激烈，顾客的要求是很挑剔的，并非什么样的表单都能引起顾客的注意和兴趣，顾客希望得到真正的价值，但肯定不希望对个人利益造成损害，因此，需要从顾客的实际利益出发，合理地利用顾客的主动性来丰富和扩大顾客数据库。在某种意义上，邮件列表可以认为是一种简单的数据库营销，数据库营销同样要遵循自愿加入、自由退出的原则。
（3）改善顾客关系
顾客服务是一个企业能留住顾客的重要手段，在电子商务领域，顾客服务同样是取得成功的最重要因素。一个优秀的顾客数据库是网络营销取得成功的重要保证。 在互联网上，顾客希望得到更多个性化的服务，比如，顾客定制的信息接收方式和接收时间，顾客的兴趣爱好、购物习惯等等都是网络数据库的重要内容，根据顾客个人需求提供针对性的服务是网络数据库营销的基本职能，因此，网络数据库营销是改善顾客关系最有效的工具。
网络数据库由于其种种独特功能而在网络营销中占据重要地位，网络数据库营销通常不是孤立的，应当从网站规划阶段开始考虑，列为网络营销的重要内容，另外，数据库营销与个性化营销、一对一营销有着密切的关系，顾客数据库资料是顾客服务和顾客关系管理的重要基础。
数据库的建立与管理
一、日益重要的数据库
企业顾客的基本资料分别加以搜集、筛选、测试、整理、编集及充实之后，妥善储存、保管。等到企业进行各种直复营销活动之时，依照特定的目的需求，迅速且完整地提供相关个别顾客资料。现在，由于计算机技术发展得十分迅速，电脑在顾客数据库的利用上，贡献很大。
直复营销是以目标顾客个人为对象，以双向沟通的方式进行信息传递的，因此，慎重选择目标顾客群，有系统地搜集目标顾客个别资料，进而形成顾客数据库，并有效运用顾客数据，将是直复营销成功的重要关键。
二、数据库形成的六个阶段
顾客数据库从决定成立到向直复营销人员提供信息，大致上有六个阶段：
1、决定建立顾客数据库 2、顾客资料的搜集 3、个别顾客资料卡的内容填写 4、资料的整理及筛选 5、智慧型信息的完成 6、灵活使用顾客数据库的信息。
数据库营销的前景
数据库营销缩短了商业企业与顾客之间的距离，有利于培养和识别顾客忠诚，与顾客建立长期关系，也为开发关系营销和“一对一”营销创造了条件。
（1） 以数据库为基础的顾客管理，为关系营销奠定了基础。
关系营销强调与顾客之间建立长期的友好关系以获取长期利益。实践证明，进行顾客管理，培养顾客忠诚度，建立长期稳定的关系，对商业企业是十分重要的。数据库营销不仅受到沃尔玛、麦德龙等传统企业的重视，像亚马逊这样的新型网上企业更是十分重视客户管理。比如，当客户向亚马逊买一本书以后，亚马逊会自动记录下顾客的电子邮箱地址、图书类别，以后定期以电子邮件的形式向顾客推荐此类新书。这种方式极大推动了亚马逊网上销售业务的增长。
（2） 数据库营销，使商业企业能够更详细地了解顾客，增加了“一对一”营销的可能。
“一对一”营销是基于信息技术的发展提出的新的营销理念，就是将市场细分到消费者个体，根据其消费习惯和需求特点提供个性服务。最近，在美国许多大城市出现一些“快速服装店”，其目标顾客是有一定身份和地位的职业女性。她们或者工作很忙无暇购物，或者是厌烦挑选商品的烦琐过程，但都需要不断改变形象。服装店便专门为这类顾客建立“一对一”档案，从身高、体重、体形到气质、职业、性格，都有详细的记录和分析。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）