大数据背景下唯品会精准营销存在的问题及解决方法

一、唯品会大数据平台规划和现状这是唯品会大数据平台一个中长期的规划。目标很明确，我们希望从技术上能把整个大数据做成一个包含离线计算平台、流式计算平台、模型训练平台、VRE、 DMP和多种应用的完整生态链，并且希望通过这个平台，让我们公司的分析师、开发人员可以很简易地运用起来。这是唯品会大数据平台的现状，总体和上面的规划图类似，重点在于离线平台的搭建，目前离线计算平台也已经做得差不多了。我们现在有一套很完整的数据开发平台，可以让公司的分析人员在不需要任何培训的情况下，方便地利用这个系统去挖掘大数据中的各种知识，为业务服务。除此之外，我们也有很多产品，看到图中数据产品一块，有情报中心、比价、选品、数读、魔方罗盘、仪表盘等。二、大数据中的资源管理大数据管理本身是一个很广的概念，涵盖了很多知识面。但资源管理是今年让唯品会特别难受的一个点，很多工作人员经过长时间的不眠不休，才最终把它解决掉。所以今天我会把资源管理作为重点，单独拿出来分享。这里的“数据平台使用申请”打了引号，我想说的是这个“平台使用申请”在初创公司或者建设数据平台的初期，一般是很难做到这么完善的。因为我们需要用户提交很多要求，而且这些要求是明确的，包含了比如我需要什么样的资源，HDFS的存储、数据库、计算都需要多少，资源的数目是多少，要通过什么方式去访问。拿到这个申请以后，管理员会负责去分配同样的资源，比如HDFS中分配多少资源给你使用，Hive也是，如果我想要这样一个资源分配队列，需要明确分配给你的最大/最小资源是多少。当然，这是一个理想的情况，现实却很骨感。因为这个行业的发展非常快，相信很多做大数据的同学，很多时候你是被业务和领导推着向上的，所以这时你的思考可能不是很完善，你会发现，你的理想状态是系统很强大、数据规范、流程规范、技术成熟、业务成熟，但现实呢？唯品会在半年前也是这种现状：模型的变更非常迅速，线上的那些代码实际上是我们的人员按小时为单位去做变更的。用户的能力参差不齐。有很多的历史包袱，唯品会的数据平台其实四年前就开始搭建了，其中有三年的历史包袱。同时，有大量的技术包袱，而且平台非常不稳定，掌控力差，有各种各样的瓶颈。整个大数据平台的分层也不是很明确。这是我们面临的现实。那么，这种情况下，维护人员或者像我们这样的技术架构人员就会经常接到用户各种各样的投诉和问题。这里我列了一些用户经常会抱怨的问题：这个任务昨天还好好的，为什么今天跑不出来了？2-10倍的数据量，能撑得住吗？怎么几千个任务都慢了？最近磁盘使用率急剧增加，谁在用？这个表好像不用了，我能删除掉吗？集群要扩容吗？扩多少?当你在没有足够能力应付的情况下，面对这些问题，你是一筹莫展的。而由此也引申出今天的核心议题——资源管控。三、资源管控中的存储资源和计算资源做运维、DBA，或者大数据管理人员，都需要了解一个核心，那就是资源管控。做资源管控，其实和分田到户是同样的道理。当把一块田交给你，那你就在这块田里自己玩，不要到别人的田里去掺和。通过资源管控，可以实现很多目的：从乱序到有序。申请和分配有据可查。规则公开透明。数据公开透明。有多少资源，干多少事。有合理的KPI和惩罚机制。ROI，资源倾斜给回报率高的项目。以Hadoop为例。Hadoop平台是大家都在用的一个技术框架，它有哪些资源呢？总的来说，有四个模块：计算资源、存储资源、权限资源、业务资源。今天我会重点讲右侧的计算资源和存储资源。为什么存储和计算需要关注？首先是NameNode。NameNode在Hadoop中相当于一个技术的管理节点，我们平台目前已经存储2亿的文件超过2亿的blocks，现在NameNode的内存使用在100G左右。在这么大的一个集群规模情况下，会遇到很多问题。standby namenode updateCountForQuota缓慢影响主从一致性，进而影响切换（HDFS-6763）standby checkpoint缓慢导致增量blockreport汇报被skip, 影响主从一致性，进而影响切换（HDFS-7097）standby checkpoint GC导致transfer Fsimage超时失败这里列了几个问题点，都在社区被不少人提出来，我们也确实受到了影响。其中，最重要的是集群启动时，规模越大，你的启动时间可能越慢，除非你把这部分的代码全部进行重构。举个例子，可能我们的集群重启需要30分钟，因为需要每个block去上报。另外，第二个瓶颈就是资源管理，叫做ResourceManager，这也是Hadoop中的一个技术组件。唯品会现在的规模并行度是高峰期可以有一千个任务在跑，每天有将近40万的任务提交到Hadoop集群里，基本24小时内时时刻刻都有人在运行。因为现在的电商，包括现在的大数据已经不是以前那种玩法，不是你晚上跑个批处理，事情就做完了。现在大家的要求是，你能不能5分钟内跑出来，所以我的批处理在上面可能是5分钟一个力度去提交的，所以这个集群对我们来说已经不是夜间作业的集群，而是24小时专机，永远不能宕机的一个服务。https://issues.apache.org/jira/browse/YARN-3547部分解决问题https://issues.apache.org/jira/browse/YARN-518our patch for fairscheduler这里也列了两个问题，就不展开讲了，关键是第二个，我们提交给社区的补丁。这些问题社区还没有解决，我们这个补丁也还没有打到任何社区的版本里去，但是如果当你的集群规模非常大，运行HDFS时肯定会遇到和我们同样的问题——分配能力有瓶颈。目前我们通过这个补丁，分配能力提升到了近10-15倍。这其实很夸张，我们一直考虑的是，现在已经有几百台节点了，那能不能变到几千台？如果分配这个问题不解决，你的瓶颈永远卡在那，即使再加机器，管理也会因为瓶颈上不去，无法提升到几千台这样的规模。前面讲到了很多问题，怎么解决呢？开源节流。分两块，一块要提升各方面主机的性能，图中列出来的，包括了NameNode RPC性能、yarn的container assign性能，以及加机器。另外一块，就是要做各种优化管理。大家想，原先你就有几百个用户在用，当开放出去后，随着大数据应用的发展，不断有人去用，久而久之就会变成上万个用户在用。这时，你的存储是否被有效地利用呢？是否都是有价值的数据放在上面呢？你的计算是否都是有效的计算呢？还有人在用这样的一个任务吗？管理数据化成果给大家看一下我们在这一块的成果。理念很简单，就是做一个闭环。把整个数据仓库和Hadoop做成一个闭环，大家可以看到内圈，其实就是正常开发的一个数据仓库，你会建立任务、执行、下线，这是一个循环。而外循环是从整个任务建立时就开始对它进行管理，当你任务申请好之后，你会分配到一个队列，查看你的每一个日志。存储和计算会告诉你用了多少，同时还可以做一些智能的分析。在你的任务执行完之后，可以在系统里面看到任务的整个生命周期运行情况。基本上我们就是把整个大数据分到项目，分到人，分到数据库，分到几个任务，所有的指标都可以可视化地让你看到，也就是说，即使你只是简单地在系统里提交了一个SQL，可实际上你得到的是一个可视化、数据化的成果。你可以知道，今天我提交了多少个SQL，占用了多少资源，剩下多少文件，所有这些东西在系统里都可以看到。这样数据分析师也能主动跟你讲，今天慢了可能是因为提交的任务太多，今天提交的任务比上周多了一倍。你也能主动地在系统里找，为什么多了一倍？什么样的任务最占用资源？整个架构闭环大大降低基本架构技术人员的工作量。而当我们所有的数据都开放给数据分析师时，他们又能通过这些数据去做一些自己的分析，这也是一个闭环的形成。对很多公司来说，通过构建闭环，这一块的工作效率将会得到很大的提升。接下来重点讲两块资源的管理。一块是存储的资源，一块是计算的资源。存储资源管理一般情况下，大家在Hadoop中都是用Hive这个数据库，它对应的是后端的一些一二三级目录等数据库和表的目录。我们要怎样获取这些数据呢？从我们的角度来说，我们也是数据分析人员，我们要做的东西和其他的分析师其实是一样的，只不过我们分析的对象是系统的性能数据。我们会想要获取各种各样的性能数据，同时，我们需要去计算这些性能数据，做多维度的各种计算，然后把它推出去给用户看。存储资源基本上就是通过这几大块来收集，左边是获取到的各种存储的信息，文件、表、数据仓库、ETL、Hadoop的日志……第二步是把它转化为Hive里计算的文件元数据信息、表元数据信息、调度任务元数据信息、路径访问信息，最后得到的产出通过各种维度的计算，可以得到：维度：包括分区、表、数据库、任务、业务、人、目录层级、时间等所有维度；指标：全量、增量、趋势、平均文件大小、最大文件大小、最小文件大小、文件数目、占比等；热度：哪些表被频繁访问？哪些表3个月没人访问，是否可以下线了？安全：有没有敏感信息被非法访问。通过这一系列的存储资源管理，可以把所有的关键信息收集起来。下面，讲一下这些数据的使用，这也是我们公司目前正在践行的：容量计费通过计费来控制资源，使存储数据完整透明。消费预警，会提前知会用户。空间管理自动配置生命周期管理规则；存储格式，压缩格式选择（orc+gzip）；文件管理自动配置生命周期管理规则；小文件har归档。控制存储的价值：一方面可以解决NN“单点”瓶颈，控制服务器的数量，降低成本。如果没有加以控制，很快你的规模就会变成几百、几千，逐渐失控。另一方面，规范数据生命周期管理，统计冷热数据的使用，区别哪些数据是能删的、哪些是能归档的、哪些是被频繁使用的，都可以通过这个手段反馈给ETL生命周期管理。计算资源管理这是yarn的一个架构图。大家都知道yarn是Hadoop的一个统一的调度管理。但yarn好像把所有资源管理的事情都搞定了，我们还需要管理什么呢？实际上，还有很多没有解决的问题。

问题一：什么是精准营销? 精准营销

精准营销就是公司需要更精准、可衡量和高投资回报的营销沟通，需要更注重结果和行动的营销传播计划，还有越来越注重对直接销售沟通的投资.

怎样的营销模式才能定义为精准营销呢？三大基本要素缺一不可.

首先是精确：目标越准，资源集优，营销才能更有效方可做到事半功倍。其次，巧妙的推广策略，潜移默化的渗透。第三就是市场情报的收集和研究。

问题二：企业为什么必须要做精准营销 当互联网上的竞争开始变得激烈起来，一般的网络营销便再也无法满足企业的发展需求，精准营销被推向前台。企业之所以需要精准营销，是因为精准营销更有针对性，更一针见血，更能高效捕捉目标客户、降低企业运营成本。

什么是精准营销?

精准营销依托现代信息技术手段，在精准定位的基础上建立个性化的顾客沟通服务体系，最终实现可度量的、低成本的可扩张之路。精准营销相对于一般的网络营销，更加注重精准、可衡量和高投资回报。

为什么要做精准营销?

在这么多的网络营销手段中，企业为什么认定精准营销比其它营销手段更好?也就是说，企业为什么要做精准营销?互联网精准营销的优势是什么?

1、可量化。传统的营销定位具有局限性，依靠现代信息技术精确定位市场的精准营销，可量化营销的结果，所以比一般的网络营销效果更好

2、可度量、可调控。传统的广告沟通成本高，企业想要通过低成本达到快速增长根本不可能，精准营销借助的是数据库技术、网络通讯技术及现代高度分散物流等手段，保障了与客户的长期个性化沟通，使结果可度量、可调控，成本更低

3、保持企业和客户的互动沟通。开发新客户的成本比维持老客户的成本要高，精准营销提供的系统手段可以保障企业和客户的长期沟通，从而不断满足客户的需求，提高用户粘度

4、简化过程。精准营销依赖现代科技手段，实现高效营销，简化了中间的环节，脱离了传统营销模块，使营销成本大大降低。

互联网精准营销公司哪家好?

看到这里，企业对于精准营销的需求可谓呼之欲出。现在的问题在于，哪家做精准营销的公司更好、更专业?在选择具有良好精准营销手段的整合网络营销公司时总是很纠结，所谓公说公有理，婆说婆有理，如何判断还真是个难题。

现在先不急于判断做精准营销的公司哪家更好，先看一看，做得好的精准营销公司需要具备哪些职能。

1)精准的市场定位

精准的基础在于细分，市场的区分和定位是现代营销活动中关键的一环。只有对市场进行准确区分，才能保证有效的市场、产品和品牌定位。在市场调查、企业调查的前提下才能对企业定位进行细分、否则市场细分将是无本之木、无源之水，只有对市场进行准确区分，才能保证有效的市场、产品和品牌定位。

有高端车的人基本是消费比较高的人想做整形的人大多数是女性想购买奶粉的基本是年轻妈妈......在这些精准人群的平台中实现营销和销售，所以，精准网络营销就是在精准定位的基础上，实现营销目的，为企业精确锁定目标客户。

2)精准的数据挖掘和分析

通过行业领先的精准数据挖掘和分析技术，层层过滤找出真正的消费者，引导他们的信息寻找行为，使其在消费行为之前，浏览商家信息，并主动与商家电话沟通，形成销售机会。

3)全方位的互动式传播沟通体系

从精准营销的字面上大家就可以看到它采用的不是大众传播，它要求的是精准。这种传播大概有以下几种形式：DM、 EDM营销、直返式广告、电话、短信、网络推广、微博营销、微信营销等。

4)时时监控广告投放效果，实现可视化管理

通过技术优势，进行消费者行为分析，媒体受众特征分析，广告质量跟踪分析，行业发展趋势分析，把专业、复杂环节用最透明、严谨、实用的评估方式呈现给企业决策者，企业决策者通过强大、便捷的广告管理平台，可以随时调整广告出价，查询广告数据，随时回访客户电话，不错过任何商机。

5)零风险

全新的考核方式，打破传统的按照广告展现、点击收费模式真正和客户绑定一起，实现双赢的合作模式避免了无效广告、低效广告的风险，使所有的费用透明、有效。

无独有偶，以上所描述的精准营销功能，赣州搜赢网络一一......>>

问题三：精准营销是什么啊？ 欧赛斯精准客户传播是通过锁定精准目标客户、采集客户信息等等，并通过整合传播将信息传播给客户。

问题四：「精准营销」有什么不足 精准营销，是在大数据基础上以现代信息技术手段为支撑精准定位，建立个性化的顾客沟通服务体系，实现企业的可持续化发展。

精准营销的不足在于：

精准营销需要较大的数据库支持，很多情况下，用户数据难以深入挖掘分析，精准定位比较难。

现行条件下精准营销推送方式比较粗暴，引起用户的不满，广告效果比较差，离真正精准还有较大距离

目前的精准营销与用户的关系只是简单的相关，并不是深入挖掘用户的需求进行的精准营销。

问题五：精准营销需要的条件是什么? 精准贵在

找对地方

找对人群

找对方法

合适的成交流程

无法抗拒的成交主张

问题六：精准营销主要功能是什么？ 精准营销就是公司需要更精准、可衡量和高投资回报的营销沟通，需要更注重结果和行动的营销传播计划，还有越来越注重对直接销售沟通的投资.。

问题七：大数据精准营销是什么？ 大数据精准营销师通过大数据来定位你的精准客户，例如通过BAT方面提供的数据，选择适合你的客户人群进行投放针对性广告，这种营销方式在最大程度上将广告效益扩大化，经济效益增加，成本减少。

问题八：精准营销和传统营销的本质区别是什么？ 传统营销的本质就是借助市场了解客户需求，然后生产出他们需要的产品。 传统营销的特点： 1．服务思想急待提升，服务体系不完整。 服务思想事实上是一种意识，是一种责任，更是一种情感。冷冰冰的产品通常只具有使用价值和交易完成后的价格，而一旦渗入了服务思想就会很快变得生动起来。由于在产品的制造、设计和流通过程中渗透了人们的意识、责任和情感，产品本身和整个营销过程就变得充满了服务精神。然而，在传统的服务概念中，诸多企业对此根本就不强调，甚至于淡化这种服务思想，因而其整个服务就表现得异常单薄，其服务体系的建设也表现的不完整。 这种服务状况的出现对企业的发展事实上是非常不利的，因为服务思想会渗透到立体服务流程的每一个环节中去，会渗透到为顾客提供服务过程中的每一个岗位、每一个执行体中去。而现在我们来看，因为服务思想不到位，整个服务体系的内在核心不到位，这就会影响整个服务的功能和服务体系的水准。 2．服务流程长，服务效果差。 在传统营销形态所包含的服务体系中，通常有两方面的情况：一方面是生产型企业本身所提供的各项服务；另一方面是它所倚仗通路经销商的配合提供的各种服务。这两种服务最后转化成为现实，转化成为消费者可以亲身感受到的实实在在的服务，都必须有通路经销商的有序配合才能够很好地去完成。但是由于许多中小型企业所倚仗的通路过长，而且在这种过长的通路中，企业所遇到的各种通路经销商的情况有差异，大家各自谋求的利益点，谋求利益回馈的机制均不一样。这就决定了在整个漫长的通路线上，对服务概念的理解不一样，对服务体系建设的重视程度不一样，在服务体系的建设过程中所使用手段、方法均不一样。这样每个流通环节中所表现出来的服务效果也不一样。追根溯源到生产型企业，其最后所表现出来的服务在综合测评指数上则比较低。 这种状况就好像湖南卫视《快乐大本营》栏目中的一个节目。在这个节目中，群体的参与者每一个都用挡板隔开，带上耳机，由第一位嘉宾开口说话，做动作，按照题板上的题目进行表演，结果最后复制下来的结果非常可怕，第一个表演者的语言、动作全都变了形。这样一个节目取名叫做快乐传真，它却能引发人们许多生动的启示：管理复制和服务复制的变形。 3．一线服务缺乏力度，整体服务形象不醒目。 在传统企业传统营销形态中，由于缺乏服务思想的整体贯彻，由于缺乏必要的服务章程，所以通常在其服务系统的人力资源系统中，往往缺乏专业化的一线服务人员。即便是有这样的服务人员，往往也没有把它当做一个重要的岗位，因而没有对处于这样一些岗位上的服务人员和以这些服务岗位相互连缀而成的一线服务体系的系统培训。正是由于这些原因，所以它们表现在具体的服务中缺乏特色、缺乏力度，有时甚至是敷衍了事；这种服务哪里会有光彩夺目的形象呢？所以，真正的问题就在于，传统的服务体系也许作为企业、作为从业人员均付出了很多，投入了一定的时间和精力，但往往在效果上表现不好，这样一种状况到底原因在哪里呢？原因就在于传统营销本身的经营特点和我们服务体系的系统化建设。 总之，传统营销中的传统服务体系，除了少部分具有一定规模，具有很强的国际经营意识的企业有一定的水准和深入人心的服务体系之外，大多数经营企业并没有把这种服务体系的建设延伸到系统化、专业化和科学化的道路上来，没有真正地沿引到实现市场化的竞争优势上来。

问题九：大数据精准营销到底是什么？ 5分 根据客户的需求，可以很精准的定位到企业的潜在客户的搜索习惯，客户的需求是什么，然后制定出切实可行的计划，对潜在客户进行精准的营销，我们的定位在哪，这些都需要考虑在内，大数据，我们就能知道，客户的兴趣爱好，和消费能力，还有就是我们的目标客户年龄都在那一阶段，如果我们能得到这样的数据，我们就能够提高转化，降低投入成本，

问题十：精准营销包括什么样的销售行为？ 首先，你得先搞清楚精准营销的定义，什么是精准营销？精准营销(Precision marketing)就是在精准定位的基础上，依托现代信息技术手段建立个性化的顾客沟通服务体系，实现企业可度量的低成本扩张之路。

我理解这里面应该包含三层内容：1）精准定位，这里面包括产品定位，市场定位，人群定位，价格定位等等，我觉得最起码，应该做到对目标人群的精准定位，换句话说，就是我需要对我的销售对象有非常清晰的认识，也就是我知道我的目标人群是谁、他喜欢什么样的内容（内容营销）、喜欢什么样的媒体（触媒习惯），喜欢什么样的阅读形式，以及什么时间阅读等等。2）低成本信息触达；3）结果可衡量；这两条是基于精准定位的基础上进行的，利用现代化的技术手段，实现对销售对象的低成本信息触达，且结果可以预知。如利用大数据进行人群分析，画出人群画像，通过DSP广告投放，直接找到目标人群，进行信息传播；通过点击消费的形式，保障每次投入成本能够达到我事先预估的传播率等等。

以上，希望能帮到你~~

---