什么是精准营销

什么是精准营销

什么是精准营销？

精准营销(Precision marketing)就是在精准定位的基础上，依托现代资讯科技手段建立个性化的顾客沟通服务体系，实现企业可度量的低成本扩张之路！

精准营销有三个层面的含义：

第一、精准的营销思想，营销的终极追求就是无营销的营销，到达终极思想的过度就是逐步精准。

第二、是实施精准的体系保证和手段，而这种手段是可衡量的。

第三、就是达到低成本可持续发展的企业目标。

精准营销的核心思想

精准的含义是精确、精密 、可衡量的。精准营销比较恰当地体现了精准营销的深层次寓意及核心思想。

1、精准营销就是通过可量化的精确的市场定位技术突破传统营销定位只能定性的局限；

2、精准营销借助先进的资料库技术、网路通讯技术及现代高度分散物流等手段保障和顾客的长期个性化沟通，使营销达到可度量、可调控等精准要求。摆脱了传统广告沟通的高成本束缚，使企业低成本快速增长成为可能；

3、精准营销的系统手段保持了企业和客户的密切互动沟通，从而不断满足客户个性需求，建立稳定的企业忠实顾客群，实现客户链式反应增殖，从而达到企业的长期稳定高速发展的需求。

4、精准营销借助现代高效广分散物流使企业摆脱繁杂的中间渠道环节及对传统营销模组式营销组织机构的依赖，实现了个性关怀，极大降低了营销成本。

精准营销的个性化体系

1、精准的市场定位体系

市场的区分和定位是现代营销活动中关键的一环。只有对市场进行准确区分，才能保证有效的市场、产品和品牌定位。

通过对消费者的消费行为的精准衡量和分析，并建立相应的资料体系，通过资料分析进行客户优选，并通过市场测试验证来区分所做定位是否准确有效。赢家同盟在精准营销的实践中借助自己开发的《市场定位技术》营销测试系统很好的实现了对产品的精准定位。《市场定位技术》系统采用复合的数字理论模型，在模拟的真实市场环境中得到真实实验资料。资料模型是以求证营销为蓝本设计的，在小的真实市场环境下模拟大规模销售。模拟的市场环境包括：货架实验 网路实验

使用者走访DM模拟等。（有时还可以采用模拟报纸投放来实现）

对一个大规模上市的产品投入很少的测试费用就可以知道上千万投入的效果。这就是精准定位的魅力。

2、与顾客建立个性传播沟通体系

从精准营销的字面上大家就可以看到它采用的不是大众传播，它要求的是精准。这种传播大概有以下几种形式：DM、EDM、直返式广告、电话、简讯、网路推广等。这些东西并不新鲜。DM就是邮件，EDM就是网路邮件 。

直返式广告是对传统大众广告的改良。一般的传统广告主要是讲自己的产品怎么好，鼓动大家去什么地方购买。有的也给些打折让利什么的优惠。这需要很大的篇幅去做，需要的广告费当然也不少。而直返式广告主要是宣传一个活动让感兴趣的人参与。

直返式广告的设计核心是活动诱因设计，原则是让我们精准定位的人群对广告感兴趣，设计这部分人群感兴趣的活动，感兴趣的东西达到让他们参与的目的，实现我们下一步一对一的沟通。活动诱因指让特定的客户感兴趣的东西。它更多涉及到消费心理 研究 、购买行为研究。

3、适合一对一分销的整合销售组织

精准营销的销售组织包括两个核心组成部分： 精准营销颠覆了传统的框架式营销组织架构和渠道限制，它必需有一个全面可靠的物流配送及结算系统，另一个顾客个性沟通主渠道 呼叫中心。

便捷快速的物流配送体系和可靠的结算体系是制约精准营销的两个主要因素，赢家同盟在精准营销的实践中借助国家邮政网路来实现货物配送及货款结算。

传统营销关心的是市场份额，而精准营销关心的是客户价值和增殖。精准营销的运营核心是CRM。

CALL CENTER是通过网路技术和电话建立起来的实现和顾客一对一沟通的平台：它的主要职能是处理客户定单、解答客户问题、通过客户关怀来维系客户关系。

精准营销摆脱了传统营销体系对渠道及营销层级框架组组织的过分依赖，实现一对一的分销。

4、提供个性化的产品

与精准的定位和沟通相适应，只有针对不同的消费者、不同的消费需求，设计、制造、提供个性化的产品和服务，才能精准地满足市场需求。

个性化的产品和服务在某种程度上就是定制。以戴尔为例：计算机本身标准化很高，要全方位地满足客户对计算机效能、外观、功能和价格等各方面的综合需求，相对比较容易。通过综合运用先进的供应链管理、流程控制、呼叫中心、电子商务等多种手段，戴尔能够实现按需生产，即大规模定制。

而对于其它标准化程度不高、客户需求更加复杂，既要实现大规模生产，实现成本最优，又要适应日益差异化的客户需求，就必须有选择地满足能够实现规模和差异化均衡的客户需求。通过精准定位、精准沟通找到并“唤醒”大量的、差异化的需求，通过个性化设计、制造或提 *** 品、服务，才能最大程度满足有效需求，获得理想的经济效益。

精准的、个性化的产品和服务体系依托的是现代化的生产和流程管理，包括供应链管理、ERP、BPR等。如BMW（宝马）已经实现了按照客户订单来完成整车配置并及时送达的精准生产模式。

5、顾客增殖服务体系

精准营销最后一环就是售后客户保留和增殖服务。对于任何一个企业来说 ，完美的质量和服务只有在售后阶段才能实现。同时，营销界一般认为，忠诚顾客带来的利润远远高于新顾客。只有通过精准的顾客服务体系，才能留住老顾客，吸引新顾客，达到顾客的链式反应。

实现精准营销的核心---CRM

1、CRM是面向客户，关心客户，一切围绕客户为中心来运作的管理体系，它通过一套软体来实现企业的管理思路和管理模式。

2、CRM系统的核心是客户资料的管理 CRM包括：Inter和电子商务、多媒体技术、资料仓库和资料探勘、专家系统和人工智慧呼叫中心等等。

3、CRM的焦点是自动化并改善与销售、市场营销、客户服务和支援等领域的客户关系有关的商业流程。

4、CRM可以做到：深度开发目标客户，支援公司发展战略，实现会员资讯的管理与应用，建立客户为中心的集中式营销管理平台，实现业务与管理规范化，效益最大化。

它的运营有几个主要模组：第一、资料管理：把内部资讯与资料接触点管理起来，实现资料的跨区域跨部门的集中管理与共享应用；第二、流程管理：实现相关业务流程管控和自动处理，固化管理流程；第三、智慧管理：实现企业分析智慧，据此对外为客户提供有效的客户关怀服务，对内为企业提供有效的准确的分析决策依据。

精准营销的理论依据

精准营销应该由以下四个主要理论构成

1、4C理论

4C理论的核心：强调购买一方在市场营销活动中的主动性与积极参与，强调顾客购买的便利性。精准营销为买卖双方创造了得以即时交流的小环境，符合消费者导向、成本低廉、购买的便利以及充分沟通的4C要求，是4C理论的实际应用。

①、精准营销真正贯彻了消费者导向的基本原则。4C理论的核心思想，便是企业的全部行为都要以消费者需求和欲望为基本导向。精准营销作为这一大背景下的产物，强调的仍然是比竞争对手更及时、更有效地了解并传递目标市场上所期待的满足。这样，企业要迅速而准确地掌握市场需求，就必须离消费者越近越好。这是由于，一方面，资讯经过多个环节的传播、过滤，必然带来自然失真，这是由知觉的选择性注意、选择性理解、选择性记忆、选择性反馈和选择性接受所决定的；另一方面，由于各环节主体利益的不同，他们往往出于自身利益的需要而过分夸大或缩小资讯，从而带来资讯的人为失真。精准营销绕过复杂的中间环节，直接面对消费者，通过各种现代化资讯传播工具与消费者进行直接沟通，从而避免了资讯的失真，可以比较准确地了解和掌握他们的需求和欲望。

②、精准营销降低了消费者的满足成本。精准营销是渠道最短的一种营销方式，由于减少了流转环节，节省了昂贵的店铺租金，使营销成本大为降低，又由于其完善的订货、配送服务系统，使购买的其它成本也相应减少，因而降低了满足成本。

③、精准营销方便了顾客购买。精准营销商经常向顾客提供大量的商品和服务资讯，顾客不出家门就能购得所需物品，减少了顾客购物的麻烦，增进了购物的便利性。

④、精准营销实现了与顾客的双向互动沟通。这是精准营销与传统营销最明显的区别之一。

2、让客价值

世界市场学权威、美国西北大学教授菲利普·科特勒在其1994年出版的《市场营销管理——— 分析、规划、执行和控制》中，提出了“让客价值”的新概念。这一概念的提出，是对市场营销理论的又一发展。“让客价值”是指顾客总价值与顾客总成本之间的差额。其中顾客总价值是指顾客购买某一产品或服务所期望获得的一组利益，包括产品价值、服务价值和形象价值等。顾客总成本是指顾客为购买某一产品或服务所支付的货币及所耗费的时间、精力等，包括货币成本、时间成本及精力成本等等。

由于顾客在购买时，总希望把有关成本降至最低，同时又希望从中获得更多的实际利益，因此，总是倾向于选择“让客价值”最大的方式。 企业 为在竞争中战胜对手，吸引更多的潜在顾客，就必须向顾客提供比竞争对手更多的“让客价值”。

精准营销提高了顾客总价值。精准营销实现了“一对一”的营销，在这种观念指导下，其产品设计充分考虑了消费者需求的个性特征，增强了产品价值的适应性，从而为顾客创造了更大的产品价值。在提供优质产品的同时，精准营销更注重服务价值的创造，努力向消费者提供周密完善的销售服务，方便顾客购买。另外，精准营销通过一系列的营销活动，努力提升自身形象，培养消费者对企业的偏好与忠诚。

其次，精准营销降低了顾客总成本。消费者购买商品，不仅要考虑商品的价格，而且必须知道有关商品的确切资讯，并对商品各方面进行比较，还必须考虑购物环境是否方便等。

所以，工商企业为了扩大商品销售，提高自身竞争力，既要考虑商品价格的制定能否被消费者所接受，更要考虑消费者在价格以外的时间与精力的支出。这些支出我们在这里称之为交易费用。它的大小，直接制约交易达成的可能性，从而影响着企业营销效果。因此，降低交易费用也便成为营销方式变革的关键动因。精准营销方式，一方面既缩短了营销渠道，又不占用繁华的商业地段，也不需要庞大的零售商业职工队伍，因而降低了商品的销售成本价格，也就降低了顾客购买的货币成本；另一方面，精准营销通过直接媒体和直接手段及时向消费者传递商品资讯，降低了消费者搜寻资讯的时间成本与精力成本。另外，在家购物，既节省了时间，又免去了外出购物的种种麻烦，也使这两项成本进一步降低，因而减少了交易费用，扩大了商品销售，成为众多企业乐意采用的营销方式。

3、一对一直接沟通理论

两点之间最短的距离是直线，所以精准营销在和客户的沟通联络上采取了最短的直线距离。精准营销的线性模式：沟通是直线的，双方向的互动交流过程，它包括三个重要的概念：

①既然是历程就有时间性，也就是在一段时间内进行，

②而且是有意义的，

③同时是互动交流的；沟通的主要元素：情境．参与者．讯息．管道．干扰．回馈

1973 年,领导行为理论代表人物、美国行为科学家明茨伯格H.Mintzberg指出“管理工作有10种作用,而沟通和人际关系占3成。”明茨伯格首先创立了经理角色理论,指出“爱用口头交谈方式”和 “重视同外界和下属的资讯联络”为经理角色六个特点中非常重要的两个特点。直接强化了直接沟通。

从泰勒科学管理初始探索下行沟通开始,管理沟通理论的发展历程主要经历了从 研究 “行政沟通”,向研究“人际沟通”发展、从以“纵向沟通”研究为主,向以“横向沟通”研究为主,进而向以“ 网路化沟通”研究为主发展、从以研究“单一的任务沟通”为主,向“全方位的知识共享沟通”研究发展等一系列过程。

20世纪80年代以来,管理思想随世界经济政治的变化发生了重大的转变,管理沟通理论的研究也遇到新的挑战,主要表现资讯网路技术在沟通中的 应用 , 学习型组织及知识型企业的建立等等。伴随现代管理理论呈现出的管理理念更加人性化、知识化、管理组织虚拟化、组织结构扁平化、管理手段和设施网路化、管理文化全球化等总体趋势,管理沟通理论也出现了企业流程再造沟通趋势、管理更加柔性化的文化管理沟通趋势、知识管理沟通趋势、网路经济和全球经济一体化的管理沟通的国际化趋势。

精准营销的直接沟通，使沟通的距离达到了最短，强化了沟通的效果。

4、顾客链式反应原理

① 精准营销关心客户细分和客户价值：精准营销的CRM体系强调企业对与客户之间的“关系”的管理，而不是客户基础资讯的管理。关心客户“关系”存在的生命周期，客户生命周期(Customer Life Cycle)包括了客户理解、客户分类、客户定制、客户交流、客户获取、客户保留等几个阶段。管理大师彼得·德鲁克说：“企业的最终目的，在于创造客户并留住他们”。一个完善的CRM应该将企业作用于客户的活动贯穿于客户的整个生命周期。

而以前的大多数营销理论和实践，往往集中在如何吸引新的客户，而不是客户保留方面，强调创造交易而不是关系。当前，企业争夺客户资源的竞争加剧，而客户总体资源并没有明显增长。在这种情况下，实现客户保留无疑是 目前 企业最关心、最努力要实现的工作。

② 精准营销关心客户忠诚度：客户理论的重点在于客户保留。客户保留最有效的方式是提高客户对企业的忠诚度。商业环境下的客户忠诚 (Customer Loyalty)可被定义为客户行为的持续性。客户忠诚是客户对企业的感知(Perception)、态度(Attitude)和行为 (Behavior)。它们驱使客户与企业保持长久(Long-term)的合作关系而不流失到其它竞争者那里，即使企业出现短暂的价格上或和服务上的过失。客户忠诚来源于企业满足并超越客户期望(Expectation)的能力，这种能力使客户对企业产生持续的客户满意。所以，理解并有效捕获到客户期望是实现客户忠诚的根本。

③

精准营销着重于客户增殖和裂变

物理学关于链式反应是这样解释的：铀核裂变时，同时放出 2 ～ 3 个中子，如果这些中子再引起其它铀核裂变，就可以使裂变反应不断地进行下去，这种反应叫做链式反应。

我们把物理学的链式反应引入对精准营销的研究，精准营销客户保留价值更重要的是客户增殖管理，传销是一种典型的链式反应过程。她通过“一传十，十传百”形成爆炸发展。而精准营销形成链式反应的条件是对客户关系的维护达到形成链式反应的临界点。这种不断进行的裂变反应使企业低成本扩张成为可能。

多米诺骨牌是一种非常古老的游戏。人们按照自己的意愿将骨牌码成千奇百怪的图形，调整好骨牌间的位置，然后只需轻轻d动手指，推倒第一张牌，后面的骨牌便会一个接一个地倒下去，并且推动他的“邻居”。

精准营销的思想和体系使顾客增殖这种“链式反应”会不断地进行下去，并且规模越来越大，反应越来越剧烈。

网易精准营销平台

什么是网易精准营销？

网易精准营销是网易向企业提供的一系列网路营销服务的总称，首期推出的是精准广告投放服务。

网易精准广告投放是网易首创的一种网路推广方式。根据网易使用者的年龄、性别、职业、地区、爱好等特征，投放精准广告并按实际效果付费。少量投入就可以给企业带来大量潜在顾客，是有效提升企业销售额的极佳途径。

产品优势：精准的广告投放，让企业以更低的投入，获得更多的商机！

网易精准营销优势：

·更精准的投放广告 企业（个人）依据对顾客的了解，可以根据地区、年龄、性别、学历、职业、婚姻状况、兴趣爱好等自主选择广告投放的物件，实现广告的精准投放。 *** 作简单方便，自由灵活。

·更多的商机 广告只投放给企业的潜在顾客，即只有您的潜在顾客可以看到广告，因此每次的广告投放都蕴藏着可能的商机，每次使用者的点选都很有可能给您带来新的订单。

·更低的成本投入 精准广告按照给企业带来的潜在顾客的实际访问数量计费，使用者点选企业的广告才收取费用，不点选不收费，保证企业每一分钱的效果。

·更可信的推广效果 精准广告只有使用者登入网易产品后才可以看到，而且根据使用者不同的特征和爱好，不同的使用者看到推广资讯各不相同，即使是同一位使用者在不同的时间看到的资讯也各不相同。使用者点选广告并不获得任何收益，因此杜绝了使用者故意或恶意点选广告的动机。同时，我们有完善的监控系统措施，可以有效的发现和防止可能出现的恶意点选行为。

·更合理的费用控制 企业可以自主设定每个广告的每次最高点选价格，系统会自动根据企业的设定帮助企业以最低的成本获得最好的展示位置和排名，且每次点选收费一定不超过企业设定的最高点选价格。同时，企业还可以设定广告每天的最高消费额，从而更加有效和灵活的控制推广费用。

精准营销

精准营销就是公司需要更精准、可衡量和高投资回报的营销沟通，需要更注重结果和行动的营销传播计划，还有越来越注重对直接销售沟通的投资.

怎样的营销模式才能定义为精准营销呢？三大基本要素缺一不可.

首先是精确：目标越准，资源集优，营销才能更有效方可做到事半功倍。其次，巧妙的推广策略，潜移默化的渗透。第三就是市场情报的收集和研究。

什么是dsp精准营销？

服务于广告主，帮助广告主在网际网路或者移动网际网路上进行广告投放，DSP可以使广告主更简单便捷地遵循统一的竞价和反馈方式,以合理的价格实时购买高质量的广告库存，一般采用CPC(点选付费)或CPM(显示付费)两种方式。

DSP精准平台，基于目标人群的精准广告投放，通过对使用者的cookie资讯蒐集，分析使用者资料，进行型别匹配，当有广告投放时，系统会判断这个广告的目标使用者什么，从而自动筛选符合的目标群体，当这部分使用者在浏览网站的时候，让使用者看到广告。说通俗点它就相当于是一个流量超市，广告主可以通过这个平台根据自己的喜好来采购自己想要的目标流量

什么是精准营销，仅仅是营销简讯

精准营销是面对具有相同消费特征的消费人群进行的销售。

精准营销有一个重要的基础是有消费者资料库，简讯只是营销的一种方式，还有很多种，如公开课、电话、公众号推送等等。

精准营销是很多企业市场与销售策划的趋势。

什么是电话精准营销模式？

怎么跟你说呢，其实所谓的精准营销模式只不过是概念。所谓的电话精准营销，说白了就三点：1：营销的过程是点对点的 2：营销物件是筛选过的 3：导向性很强

精准营销

精准营销(Precision marketing)就是在精准定位的基础上，依托现代资讯科技手段建立个性化的顾客沟通服务体系，实现企业可度量的低成本扩张之路。就是公司需要更精准、可衡量和高投资回报的营销沟通，需要更注重结果和行动的营销传播计划，还有越来越注重对直接销售沟通的投资。

要实现精准营销，首先要明确产品的目标群体。定位与产品本身相匹配的消费群体是分析消费者购买习惯和消费需求的前提，这使得大数据分析大有用武之地。互联网时代，人们可以接触到很多种东西，每个人的喜好都不一样，个性化程度高，多样性很大。所以在寻找目标群体的过程中，要立足于各行业沉淀的数据，按照不同的标准划分消费群体，建立用户信息数据库，从中寻找目标用户。

另外，精准营销需要掌握利用大数据分析用户需求的技术。大数据记录了用户使用各种应用生成的每一条数据。营销人员可以通过分析这些数据来获取用户的需求，甚至挖掘出用户没有意识到的潜在需求。以手机游戏应用推广为例，不同游戏玩家的喜好差异较大。没有对玩家喜好和使用习惯进行数据分析就投放的广告，往往会变得毫无用处。通过分析用户数据，获取各类信息进行精准营销，可以大大提高下载率，延长留存时间。因此，提高利用大数据分析用户需求的技术成为很多主流广告平台的工作重点之一。和Mintegral一样，它掌握了利用AI技术分析海量用户数据，利用先进的人工智能算法，实现了广告投放时千人千面，有效提升了程序化广告的精准性。

另外，在进行精准营销时，也要注意广告创意和数据的结合。现代人更喜欢个性化、新颖的广告创意，对广告的审美要求也上升到了一个新的高度。然而，缺乏创意的简单粗暴的广告早已跟不上时代的进步，使得营销者越来越重视广告创意。根据数据的分析，消费者需求与耳目一新的创意相结合，理性的数据与感性的艺术相结合，才能创作出点击率高、推广效果好的广告。

互联网时代，精准营销势在必行，这需要企业和营销人员更好地定位目标群体，掌握分析大数据的技术，结合创意进行精准营销。

一、唯品会大数据平台规划和现状这是唯品会大数据平台一个中长期的规划。目标很明确，我们希望从技术上能把整个大数据做成一个包含离线计算平台、流式计算平台、模型训练平台、VRE、 DMP和多种应用的完整生态链，并且希望通过这个平台，让我们公司的分析师、开发人员可以很简易地运用起来。这是唯品会大数据平台的现状，总体和上面的规划图类似，重点在于离线平台的搭建，目前离线计算平台也已经做得差不多了。我们现在有一套很完整的数据开发平台，可以让公司的分析人员在不需要任何培训的情况下，方便地利用这个系统去挖掘大数据中的各种知识，为业务服务。除此之外，我们也有很多产品，看到图中数据产品一块，有情报中心、比价、选品、数读、魔方罗盘、仪表盘等。二、大数据中的资源管理大数据管理本身是一个很广的概念，涵盖了很多知识面。但资源管理是今年让唯品会特别难受的一个点，很多工作人员经过长时间的不眠不休，才最终把它解决掉。所以今天我会把资源管理作为重点，单独拿出来分享。这里的“数据平台使用申请”打了引号，我想说的是这个“平台使用申请”在初创公司或者建设数据平台的初期，一般是很难做到这么完善的。因为我们需要用户提交很多要求，而且这些要求是明确的，包含了比如我需要什么样的资源，HDFS的存储、数据库、计算都需要多少，资源的数目是多少，要通过什么方式去访问。拿到这个申请以后，管理员会负责去分配同样的资源，比如HDFS中分配多少资源给你使用，Hive也是，如果我想要这样一个资源分配队列，需要明确分配给你的最大/最小资源是多少。当然，这是一个理想的情况，现实却很骨感。因为这个行业的发展非常快，相信很多做大数据的同学，很多时候你是被业务和领导推着向上的，所以这时你的思考可能不是很完善，你会发现，你的理想状态是系统很强大、数据规范、流程规范、技术成熟、业务成熟，但现实呢？唯品会在半年前也是这种现状：模型的变更非常迅速，线上的那些代码实际上是我们的人员按小时为单位去做变更的。用户的能力参差不齐。有很多的历史包袱，唯品会的数据平台其实四年前就开始搭建了，其中有三年的历史包袱。同时，有大量的技术包袱，而且平台非常不稳定，掌控力差，有各种各样的瓶颈。整个大数据平台的分层也不是很明确。这是我们面临的现实。那么，这种情况下，维护人员或者像我们这样的技术架构人员就会经常接到用户各种各样的投诉和问题。这里我列了一些用户经常会抱怨的问题：这个任务昨天还好好的，为什么今天跑不出来了？2-10倍的数据量，能撑得住吗？怎么几千个任务都慢了？最近磁盘使用率急剧增加，谁在用？这个表好像不用了，我能删除掉吗？集群要扩容吗？扩多少?当你在没有足够能力应付的情况下，面对这些问题，你是一筹莫展的。而由此也引申出今天的核心议题——资源管控。三、资源管控中的存储资源和计算资源做运维、DBA，或者大数据管理人员，都需要了解一个核心，那就是资源管控。做资源管控，其实和分田到户是同样的道理。当把一块田交给你，那你就在这块田里自己玩，不要到别人的田里去掺和。通过资源管控，可以实现很多目的：从乱序到有序。申请和分配有据可查。规则公开透明。数据公开透明。有多少资源，干多少事。有合理的KPI和惩罚机制。ROI，资源倾斜给回报率高的项目。以Hadoop为例。Hadoop平台是大家都在用的一个技术框架，它有哪些资源呢？总的来说，有四个模块：计算资源、存储资源、权限资源、业务资源。今天我会重点讲右侧的计算资源和存储资源。为什么存储和计算需要关注？首先是NameNode。NameNode在Hadoop中相当于一个技术的管理节点，我们平台目前已经存储2亿的文件超过2亿的blocks，现在NameNode的内存使用在100G左右。在这么大的一个集群规模情况下，会遇到很多问题。standby namenode updateCountForQuota缓慢影响主从一致性，进而影响切换（HDFS-6763）standby checkpoint缓慢导致增量blockreport汇报被skip, 影响主从一致性，进而影响切换（HDFS-7097）standby checkpoint GC导致transfer Fsimage超时失败这里列了几个问题点，都在社区被不少人提出来，我们也确实受到了影响。其中，最重要的是集群启动时，规模越大，你的启动时间可能越慢，除非你把这部分的代码全部进行重构。举个例子，可能我们的集群重启需要30分钟，因为需要每个block去上报。另外，第二个瓶颈就是资源管理，叫做ResourceManager，这也是Hadoop中的一个技术组件。唯品会现在的规模并行度是高峰期可以有一千个任务在跑，每天有将近40万的任务提交到Hadoop集群里，基本24小时内时时刻刻都有人在运行。因为现在的电商，包括现在的大数据已经不是以前那种玩法，不是你晚上跑个批处理，事情就做完了。现在大家的要求是，你能不能5分钟内跑出来，所以我的批处理在上面可能是5分钟一个力度去提交的，所以这个集群对我们来说已经不是夜间作业的集群，而是24小时专机，永远不能宕机的一个服务。https://issues.apache.org/jira/browse/YARN-3547部分解决问题https://issues.apache.org/jira/browse/YARN-518our patch for fairscheduler这里也列了两个问题，就不展开讲了，关键是第二个，我们提交给社区的补丁。这些问题社区还没有解决，我们这个补丁也还没有打到任何社区的版本里去，但是如果当你的集群规模非常大，运行HDFS时肯定会遇到和我们同样的问题——分配能力有瓶颈。目前我们通过这个补丁，分配能力提升到了近10-15倍。这其实很夸张，我们一直考虑的是，现在已经有几百台节点了，那能不能变到几千台？如果分配这个问题不解决，你的瓶颈永远卡在那，即使再加机器，管理也会因为瓶颈上不去，无法提升到几千台这样的规模。前面讲到了很多问题，怎么解决呢？开源节流。分两块，一块要提升各方面主机的性能，图中列出来的，包括了NameNode RPC性能、yarn的container assign性能，以及加机器。另外一块，就是要做各种优化管理。大家想，原先你就有几百个用户在用，当开放出去后，随着大数据应用的发展，不断有人去用，久而久之就会变成上万个用户在用。这时，你的存储是否被有效地利用呢？是否都是有价值的数据放在上面呢？你的计算是否都是有效的计算呢？还有人在用这样的一个任务吗？管理数据化成果给大家看一下我们在这一块的成果。理念很简单，就是做一个闭环。把整个数据仓库和Hadoop做成一个闭环，大家可以看到内圈，其实就是正常开发的一个数据仓库，你会建立任务、执行、下线，这是一个循环。而外循环是从整个任务建立时就开始对它进行管理，当你任务申请好之后，你会分配到一个队列，查看你的每一个日志。存储和计算会告诉你用了多少，同时还可以做一些智能的分析。在你的任务执行完之后，可以在系统里面看到任务的整个生命周期运行情况。基本上我们就是把整个大数据分到项目，分到人，分到数据库，分到几个任务，所有的指标都可以可视化地让你看到，也就是说，即使你只是简单地在系统里提交了一个SQL，可实际上你得到的是一个可视化、数据化的成果。你可以知道，今天我提交了多少个SQL，占用了多少资源，剩下多少文件，所有这些东西在系统里都可以看到。这样数据分析师也能主动跟你讲，今天慢了可能是因为提交的任务太多，今天提交的任务比上周多了一倍。你也能主动地在系统里找，为什么多了一倍？什么样的任务最占用资源？整个架构闭环大大降低基本架构技术人员的工作量。而当我们所有的数据都开放给数据分析师时，他们又能通过这些数据去做一些自己的分析，这也是一个闭环的形成。对很多公司来说，通过构建闭环，这一块的工作效率将会得到很大的提升。接下来重点讲两块资源的管理。一块是存储的资源，一块是计算的资源。存储资源管理一般情况下，大家在Hadoop中都是用Hive这个数据库，它对应的是后端的一些一二三级目录等数据库和表的目录。我们要怎样获取这些数据呢？从我们的角度来说，我们也是数据分析人员，我们要做的东西和其他的分析师其实是一样的，只不过我们分析的对象是系统的性能数据。我们会想要获取各种各样的性能数据，同时，我们需要去计算这些性能数据，做多维度的各种计算，然后把它推出去给用户看。存储资源基本上就是通过这几大块来收集，左边是获取到的各种存储的信息，文件、表、数据仓库、ETL、Hadoop的日志……第二步是把它转化为Hive里计算的文件元数据信息、表元数据信息、调度任务元数据信息、路径访问信息，最后得到的产出通过各种维度的计算，可以得到：维度：包括分区、表、数据库、任务、业务、人、目录层级、时间等所有维度；指标：全量、增量、趋势、平均文件大小、最大文件大小、最小文件大小、文件数目、占比等；热度：哪些表被频繁访问？哪些表3个月没人访问，是否可以下线了？安全：有没有敏感信息被非法访问。通过这一系列的存储资源管理，可以把所有的关键信息收集起来。下面，讲一下这些数据的使用，这也是我们公司目前正在践行的：容量计费通过计费来控制资源，使存储数据完整透明。消费预警，会提前知会用户。空间管理自动配置生命周期管理规则；存储格式，压缩格式选择（orc+gzip）；文件管理自动配置生命周期管理规则；小文件har归档。控制存储的价值：一方面可以解决NN“单点”瓶颈，控制服务器的数量，降低成本。如果没有加以控制，很快你的规模就会变成几百、几千，逐渐失控。另一方面，规范数据生命周期管理，统计冷热数据的使用，区别哪些数据是能删的、哪些是能归档的、哪些是被频繁使用的，都可以通过这个手段反馈给ETL生命周期管理。计算资源管理这是yarn的一个架构图。大家都知道yarn是Hadoop的一个统一的调度管理。但yarn好像把所有资源管理的事情都搞定了，我们还需要管理什么呢？实际上，还有很多没有解决的问题。

---