大数据时代出现的必然性

大数据时代出现的必然性
大数据是当下非常火爆的一个词，人人都在谈论大数据。但大数据的定义是什么？它到底是如何出现的？它有什么特别之处？它最大的应用领域在哪里？它的发展方向是什么？对于以上问题，其实大多数人是弄不清楚的。
1）大数据时代出现的必然性
大数据和云计算这两个词经常被同时提到，很多人误以为大数据和云计算是同时诞生的、具有强绑定关系。其实这两者之间既有关联性，也有区别。云计算指的是一种以互联网方式来提供服务的计算模式，而大数据指的是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和关联形态上的颠覆性变化的总和。大数据处理会利用到云计算领域的很多技术，但大数据并非完全依赖于云计算；反过来，云计算之上也并非只有大数据这一种应用。
云计算的起源可以追溯到 2003 年末 Amazon 公司工程师 Chris Pinkham 提交给 CEO Jeff Bezos 的一篇论文中的一个设想：将 Amazon 内部使用的计算基础设施开放给全世界的开发者。次年 11 月，Amazon 发布了第一版云计算服务：Simple Queue Service。Simple Queue Service 再往后发展至 2006 年，演变成立今天著名的 AWS（Amazon Web Sercice）。同在 2006 年，Google 公司 CEO Eric Schmidt 首次公开提出了“云计算”（Cloud Computing）的这一概念，云计算也在这一年开始变得广为人知。
大数据这个词的流行却晚了好几年——直到 2009 年，大数据这个说法才逐渐开始在互联网圈内传播。但仅仅在互联网领域流行，仍然不足以引起普遍关注，因为纯互联网经济毕竟只占全球经济总量的很小一部分。而大数据概念真正变得火爆，却是因为美国奥巴马政府在 2012 年高调宣布了其“大数据研究和开发计划”——美国政府希望利用大数据解决一些政府部门面临的非常重要的问题，该计划由横跨 6 个政府部门的 84 个子课题组成。这标志着大数据真正开始进入主流的传统线下经济。
大数据出现的时间点自有它深刻的原因。2009 年至 2012 年这段时间正是电子商务在包括中国在内的全球全面开花的几年。众所周知，互联网领域有 3 大类商业模式：广告、游戏和电子商务。而电子商务又是第 1 个真正将纯互联网经济与传统经济嫁接在一起诞生的混合模式。准确地说，正是互联网与传统经济的碰撞，才真正催生出了今天几乎全民关注的“大数据”。大数据横跨了互联网产业与传统产业，而且大数据真正广阔的应用领域其实也正是比纯互联网经济大得多的传统产业。
从数据量的角度来看，在电子商务模式出现以前，传统企业的数量增长缓慢。传统企业的数据仓库中的数据大多数来自于交易型数据，而交易这种行为处于用户消费决策漏斗的最底部，这就决定了交易前的各种浏览、搜索、比较等用户行为数据的都量远远超过交易数据。电子商务模式使得企业可以采集到用户的浏览、搜索、比较等行为，这就导致企业的数据规至少提升了一个数量级。现在日益流行的移动互联网以及将来会流行的物联网又必将使数据量提高两三个数量级。从这个角度来讲，大数据时代是必然会出现的。
从 IT 产业的发展来看，第一代 IT 巨头大多是 2B 的，比如 IBM、Microsoft、Oracle、SAP 这类传统 IT 企业；第二代 IT 巨头大多是 2C 的，比如 Yahoo、Google、Amazon、Facebook 这类互联网企业。一个有意思的现象是：大数据时代前，这两类公司彼此之间基本是井水不犯河水，我们很少看见这两类公司的老板们在一起坐而论道；但在当前这个大数据时代，这两类公司已经开始直接竞争。比如 Amazon 已经开始提供云模式的数据仓库服务，直接抢占 IBM、Oracle 的市场。这个现象出现的本质原因是：在互联网巨头的带动下，传统 IT 巨头的客户普遍开始从事电子商务业务，正是由于客户进入了互联网，所以传统 IT 巨头们不情愿地被拖入了互联网领域。如果他们不进入互联网，他们业务必将萎缩。所以第三代 IT 巨头可能会是 2B 与 2C 融合的 IT 公司。
2）大数据的核心内涵
大数据概念虽然非常火爆，但少有人真正理解大数据的核心内容。一个普遍而且严重的误解就是：大数据= 数据大，即大数据就是量大的数据。事实上，除了数据量大这个字面意义，大数据还有两个更重要的特征：
1） 跨领域数据的交叉融合。相同领域数据量的增加是加法效应，不同领域数据的融合是乘法效应
2） 数据的流动。数据必须流动，流动产生价值
对于第 1） 点，百分点推荐系统研究中心实验结果显示：百分点公司有 3 家客户，分别是从事服装、化妆品和箱包销售的电商，百分点向这 3 家客户提供个性化商品推荐服务，即：百分点挖掘用户的偏好，不同的用户上同一家电商网站时，向他们展现不同的服装、化妆品或箱包，从而提高电商的转化率和客单价。我们做过两种测试：
a） 将每家网站的数据隔离。当每家网站自身的数据量增加到以前的 4 倍时，推荐效果大约能提高 5%；
b） 将三家网站的数据在去除敏感信息之后进行某种融合。融合后的数据大致是与单家网站的数据的 3 倍，比第一种情况数据量还少。但利用融合后的数据进行数据挖掘时，推荐效果能提升 30%，而且推荐商品并未发生变化，仍然是：用户上服饰类网站时只看见服装、上化妆品网站时只看见化妆品、上箱包网站时只看见箱包。
解释得详细一点，上述实验说明：对同一个消费者，如果我们要向其推荐服装。第一种方法是我们根据他过去的 4 次购买服装的行为来预测其下一次可能会购买的服饰；第二种方法是我们根据他过去分别购买服装、化妆品和箱包的各 1 次行为来预测其下一次可能会购买的服饰。两种方法的基于的用户行数分别是 4 次和 3 次，但第二种方法的效果明显更好。
对于第 2） 点，其实 10 多年前传统企业开始做数据仓库时，数据仓库从业者经常强调一个观点：企业级数据仓库的目标是让不同部门的数据流动起来，各个部门数据割裂，数据的价值就得不到发挥。到了今天的互联网时代，我们发现即使企业已经打通了内部各个部门之间的数据，但与整个互联网比起来，数据量仍然微乎其微，数据应该以互联网为媒介在企业之间某种形式的流动。参照“企业级数据仓库”的概念，现在已经开始出现了“互联网数据仓库”的概念：就是企业通过互联网渠道将与自己相关的外部数据与内部数据进行整合，从而形成“互联网数据仓库”。百分点已经在零售与媒体领域比较成功地打造了“开放数据联盟”，该联盟的成员可以在公允、安全的情况下基于该联盟建立起自己的“互联网数据仓库”，从而享用海量数据的价值。
3）大数据的应用领域
大数据的起源要归功于互联网与电子商务，但大数据最大的应用前景却在传统产业。一是因为几乎所有传统产业都在互联网化，二是因为传统产业仍然占据了国家 GDP 的绝大部分份额。
哪些传统企业最需要大数据服务呢？至少有 3 类企业：
1） 对大量消费者提供产品或服务的企业
2） 做小而美模式的中长尾企业
3） 面临互联网压力之下必须转型的传统企业
第 1） 类企业都需要利用大数据精准分析不同消费者的偏好，提高营销和服务的质量；第 1） 类企业都需要利用大数据分析精准定位自己的客户群；第 3） 类企业主要指哪些正在遭受来自互联网的新玩家冲击的传统企业，此类企业自然都需要利用互联网和大数据作为自我进化的工具。当然，第 3） 类企业与前 2 类企业有重叠。
具体来讲，中国最需要大数据服务的行业就是受互联网冲击最大的产业，首先是线下零售业，其次是金融业。
受电商的冲击，国内很多零售巨头都增长严重放缓，甚至遭遇负增长，线下零售已经到了不得不变革的危机关头。我们也看到了银泰百货、王府井百货、万达集团这些具有创新意识的传统巨头开始利用互联网和大数据来改造线下商业。其中银泰百货以手机为载体、利用 O2O 方式进行双线数据挖掘的创新非常值得借鉴。
而金融行业就更加特殊：金融业并不销售任何实体商品，它自诞生起就是基于数据的产业。由于国家管制，金融业在前几年享受了非常好的政策红利，内部变革动力不足。而目前金融业已经逐渐开始放松管制，新兴的金融机构必将利用互联网以及大数据工具向传统金融巨头发起猛烈攻击。而传统金融机构在互联网方面的技术积累和数据积累都不足，要快速应对新进入者的挑战，必然需要大数据服务。我们也看到了中信银行xyk中心、招商银行xyk中心已经在开始利用互联网大数据进行创新。
那么传统产业需要什么样的大数据服务呢？这主要包括 3 层：
1） 基于大数据的行业垂直应用。每个行业都有自己的特点，所以自然会存在行业应用的需求；
2） 顾客标签与商品标签的整理。不管什么行业，都需要精细化整理自己顾客的属性标签以及商品属性标签，而且这些标签必须能够细化到单个顾客和单个商品。标签是行业应用的基础；
3） 企业内部和外部数据的整合与管理。要给顾客和商品打标签，首先必须整合企业内部和外部数据，尤其是日益重要和庞大的外部数据。

图：传统企业需要的大数据服务
第 3 层和第 2 层的方法相对比较通用，行业特殊性相对较少。百分点已经在第 3 层和第 2 层做出了比较成熟的产品，并且也开始在第 1 层做出了一些具体的行业应用产品，比如针对服饰行业的时尚服饰搭配系统。
4）大数据的发展方向
大数据产业未来会向什么方向发展？随着数据逐渐成为企业的一种资产，数据产业会向传统企业的供应链模式发展，最终形成“数据供应链”。拿钢铁产业来讲，铁矿石公司从矿场中挖出矿石，经过粗加工，卖给钢铁企业；钢铁企业再进行精细一点的加工，将板材、钢条卖给下游制造业公司；这些制造业公司做出汽车、飞机、门窗、电脑等产品卖给下游公司。这个产业链中存在找矿、运输、加工等诸多环节，每个环节都有对应的企业。

图：传统企业的供应链
在“数据供应链”中，存在数据、数据整合与挖掘工具以及数据应用这 3 大环节。数据就好比矿场的矿石；数据整合与挖掘工具就好比钢厂的冶炼炉；而精准营销、服饰搭配等数据应用就好比汽车、电脑等可以出售给消费者的产品。企业在数据供应、数据整合与挖掘、数据应用等所有环节都需要专业的服务。这里尤其有两个明显的现象：
1） 外部数据的重要性日益超过内部数据。在互联互通的互联网时代，单一企业的内部数据与整个互联网数据比较起来只是沧海一粟；
2） 能提供包括数据供应、数据整合与加工、数据应用等多环节服务的公司会有明显的综合竞争优势。
5） 什么样的大数据企业会胜出
常有大数据从业者以及投资人和我们探讨一个问题：大数据产业中，什么样的企业会最终胜出？这是一个很难回答的问题，而且即使回答了，三五年内可能都无法判断其正确性。但从“数据供应链”中的各个环节来分析，还是可以得出一些具有参考价值的结论。
1） 数据供应。在互联网没有流行的时代，企业做数据仓库、商业智能、数据挖掘等系统时采用的数据基本都来自于企业内部，企业几乎无法获取外部数据，所以很少有专业的数据供应商。互联网改变了这一局面，将来会有专业的数据供应商。但既然是因为互联网的出现导致了数据供应商的出现，那么反过来数据供应商就必须具有很强的互联网基因；
2） 数据整合与挖掘。数据挖掘工具供应商在非互联网时代就早已存在。但互联网时代使得企业的数据量激增、数据类型发生极大变化（不同于传统的来自于单一领域的结构化数据，互联网数据以跨域的非结构化数据为主），传统的数据挖掘工具供应商的技术和方法已经很难适应。要跟上时代的变化，数据挖掘技术与工具应用商必须具备互联网公司的海量数据处理和挖掘的能力；
3） 数据应用。具体的行业应用与传统行业的业务关系密切，要做好行业应用，最好需要有服务传统行业的经验，了解传统行业的内部运作模式。这时候仅仅具有 2C 经验的互联网基因的公司又稍显不足。
综合起来看，如果一家大数据从业公司同时兼备互联网数据获取能力、互联网技术、互联网执行力，又有做 2B 服务的经验，那么这家公司将比较容易取得领先优势。这个结论其实一点也不奇怪：如本文开篇所述，大数据本来就是互联网与传统产业碰撞时的产物。
用“方兴未艾”这个词来形容大数据产业的发展阶段都还为时过早，目前的大数据产业只能说是小荷才露尖尖角。国内企业在第 1 代 IT 产业（硬件和软件产业）中是明显落后国外企业的；在第 2 代 IT 产业（互联网产业）中，国内企业已经与国外企业差距不大甚至在很多方面超过了国外企业；希望在第 3 代 IT 产业（云计算和大数据）浪潮中，国内企业能够完全赶上并且超过国外企业，我们也认为这是很有可能的。

维基百科上的解释：“这是快速成形技术的一种，它运用粉末状金属或塑料等可粘合材料，通过一层又一层的多层打印方式，来构造零物件。模具制造、工业设计常将此技术用于建造模型，现在正向产品制造的方向发展，形成“直接数字化制造”。在一些高价值应用中(比如髋关节或牙齿，或一些飞机零部件)也已经有打印而成的零部件出现。”

简单来说，3D打印，就是在普通的二维打印的基础上再加一维。打印机先像普通打印一样在一个平面上将塑料、金属等粉末状材料打印出一层，然后在将这些可黏合的打印层一层一层的粘起来。通过每一层不同的“图形”的累积，最后就形成了一个三维物体。就像盖房子一样，砖块是一层一层的，但累积起来后，就成一个立体的房子了。

3d打印技术是什么。确切的说，3d打印是一种以金属或者塑料等粘合剂作为打印材料，以数字模型为基础进行逐层打印的一种技术。通过电脑与3d打印机连接起来便可以将绘制的图纸打印出模型的一种手段。如今这一技术在多个领域得到应用，人们用它来制造服装、建筑模型、汽车、巧克力甜品等。

3d打印技术的优点

3d打印与传统的通过模具生产有很大的不同，3d打印最大的优点是无需机械加工或任何模具，就能直接从计算机图形数据中生成任何形状的零件，从而极大地缩短产品的研制周期，提高生产率和降低生产成本。同时，3d打印还能够打印出一些传统生产技术无法制造出的外型，同时，3d打印技术还能够简化整个生产流程，具有快速有效的特点。

3d打印技术的运用领域

目前，3d打印主要运用于传统制造业、医疗行业、文物保护行业、建筑设计行业和配件饰品行业，而且在这些行业中已经运用的比较广泛，在医疗行业中，3d打印还可以为器官移植患者量身打造所需器官，当然，打印人体器官需要特殊的高分子材料，才能做到不对人体排异!

3d打印技术过程原理

每一层的打印过程分为两步，首先在需要成型的区域喷洒一层特殊胶水，胶水液滴本身很小，且不易扩散。然后是喷洒一层均匀的粉末，粉末遇到胶水会迅速固化黏结，而没有胶水的区域仍保持松散状态。这样在一层胶水一层粉末的交替下，实体模型将会被“打印”成型，打印完毕后只要扫除松散的粉末即可“刨”出模型，而剩余粉末还可循环利用。

打印耗材由传统的墨水、纸张转变为胶水、粉末，当然胶水和粉末都是经过处理的特殊材料，不仅对固化反应速度有要求，对于模型强度以及“打印”分辨率都有直接影响。3D打印技术能够实现600dpi分辨率，每层厚度只有001毫米，即使模型表面有文字或也能够清晰打印。受到喷打印原理的限制，打印速度势必不会很快，较先进的产品可以实现每小时25毫米高度的垂直速率，相比早期产品有10倍提升，而且可以利用有色胶水实现彩色打印，色彩深度高达24位。

由于打印精度高，打印出的模型品质自然不错。除了可以表现出外形曲线上的设计，结构以及运动部件也不在话下。如果用来打印机械装配图，齿轮、轴承、拉杆等都可以正常活动，而腔体、沟槽等形态特征位置准确，甚至可以满足装配要求，打印出的实体还可通过打磨、钻孔、电镀等方式进一步加工。同时粉末材料不限于砂型材料，还有d性伸缩、高性能复合、熔模铸造等其它材料可供选择。

第一次接触

一种利用太阳能将沙子融化并打印出固体物品的机器Solar Sinter。这种机器“打印”出来的作品看似粗糙，但实际上它已经是一个很超前的玩意了——它使用的材料是沙子，能量则是太阳能。换句话说，使用这种机器，你甚至可以在沙漠中轻松造出一座城。

但实际上，3D打印的概念在上个世纪 80 年代就出现了。1995 年 MIT 创造了了“3D打印”这个名词，随后3D打印便开始在实验室萌芽。然后慢慢的，3D 技术开始运用在医疗模型、建筑模型等行业，被应用在更广泛的领域。

3D 打印机普及，走向现实

3D技术开始越来越靠近人们的生活，3D打印机也越来越平民化。原来的 3D打印机非常庞大，基本上都只存在于大医院、研究机构以及相关企业中。购买这样的机器不仅要花几十几百万，而且打印材料也价格不菲。

但现在，3D打印机可以做到和普通的喷墨打印机一样大小。很多创业公司都提供各种各样的打印机，比如 MakerBot 提供的 彩色3D打印机、香港 Makible 2000块钱的3D打印机、维也纳工业大学能打出 沙粒大小赛车模型的超高速打印机等等。

另外，3D打印设计软件也越来越多，有 iPhone 上设计 3D 物品的 Sculpteo、iPad 上 3D 设计软件 123D Design、通过 Kinect 扫描 3D 模型到打印机的 Kinect-To-Print、将 3D 图纸模拟成 3D 模型的增强现实软件 Augment等。

除了 3D打印机和软件，还有一些提供 3D服务的创业公司，比如 “全民武器计划”、MakieLab、 GrabCAD、 Shapeways、 Formlabs、 Stratasys等。

神奇的 3D打印作品

到今天，人们已经用 3D 打印技术打印出了很多东西。除了下面会提到的一些复杂的 3D 几何模型，业内已经用 3D 打印机打印了心脏瓣膜、下颚骨、 电路板、汽车、 房子、 自动步q，甚至还有鞋子、内衣或生肉。

3D打印畅想

由于 3D打印成品的可塑性非常强，从二维到三维，3D 打印可以精确到 600dpi，每层 001 毫米的厚度。所以几乎任何复杂的结构都可以轻松打印出来，例如克莱因瓶、莫比乌斯网、门格尔海绵等。这就给人们带来了 极大的想象力，很多人都在畅想 3D 打印会给各个行业带来哪些革命性的改变。

YC创始人 Paul Graham 说：“ 硬件复兴的时代已经到来。”互联网女王 Mary Meeker 在其《 2012互联网趋势报告》中也声称：“3D 打印机的出现，让个性化定制成为可能，生产制作将面临变革。”而之前曾提出《长尾理论》的 Chris Anderson也从《连线》辞职，转向关注 3D 打印技术给世界带来的长尾效应。

所以说，3D 打印未来已触手可及。如果你真的喜欢的话，现在就可以尝试购买一台 3D 打印机，开启自己的创造之旅吧。

3D打印普及障碍

3D打印目前普及的障碍在于材料和成本。材料来说，现有的材料种类远不够丰富，也不接近民用材料，换句话说，很多材料即使能3D打印，但也不够环保，达不到民用标准。绝大多数的3D打印机只能打印1种或性质接近的几种材料。出现混合材料或多种材料的打印机也是未来的趋势。

成本是普及的最大障碍，正如电脑在几十年前的阶段。目前高精度的3D打印机都是比较大型且昂贵，技术专利基本掌握在国外巨头公司手中，民用的小型机使用的是十几年前的开源技术，精度达不到使用需求。国产的3D打印机往往是噱头大于实际，无论从稳定性还是产品质量远远落后国外，所以国外公司的技术垄断无疑也使打印机设备及耗材价格居高不下。通过对国外机器的拆解我们会发现，其实整机成本并不高，主要部件如激光器等则价格高昂，而且目前也无法实现国产化。原材料的配方也是另外一个垄断的因素，国产材料始终无法达到与进口材料一样的质量举例来讲SLS技术使用的粉末，即使是日本产的替代粉也不及原装的质量好。

相信未来3D打印会像以前的2D打印一样，成本和价格会随着国产化和技术成熟而逐步降低，然后逐渐普及。

就人才技能而言，我们以MIT团队研制的Form 1举例，他们的团队中，材料专家起了很大的作用，帮助开发了他们低成本的光敏树脂，比同类材料价格低了1半以上。

其次就是图形技术人才，3D打印非常需要内容作为支撑，如何开发简单易用的建模软件非常重要。正如iphone需要App store。 所以未来无论是OPEN GL WebGL开发人才还是3D扫描，3D建模技术人才都将帮助3D打印技术的进一步发展普及。

三星bixby是人工智能助手，是三星人工智能、深度学习、UI设计三者相结合的研究成果。三星bixby是用来理解和执行用户的语音命令。

2018年1月消息，三星在CES 2018展会上展示了三星Bixby虚拟助手的最新功能，用户仅需通过拍照即可识别食物类别并且计算出用户所摄入食物的卡路里。据了解，这项功能目前还没有出现在正式版本更新行列中，但从Bixby在此功能中的表现来看，该技术已经日臻成熟。

2018年05月17日，韩国消费电子与家电制造商三星电子宣布，为了打造家庭物联网生态系统，该公司将把旗下的人工智能语音识别系统Bixby应用到更广泛的家电产品中。

技术优势

三星为Bixby设计了专属按钮，按一下按钮就可以启动Bixby。

Bixby拥有理解语境的能力，可以让用户持续地完成 *** 作。具备Bixby功能的应用将具备上下文理解能力，能够更准确地了解用户想要做什么，并且还能在信息不完全或者语句顺序不对的情况下，理解和执行用户的语音命令。

Bixby可以理解不完整或跟预设不完全一致的指令，让交互更自然和容易。

---