什么是大数据技术？大数据的概念

大数据技术是指大数据的应用技术，涵盖各类大数据平台、大数据指数体系等大数据应用技术。

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

随着云时代的来临，大数据也吸引了越来越多的关注。分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。

大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

扩展资料：

大数据的三个层面：

1、理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

2、技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

3、实践，实践是大数据的最终价值体现。在这里分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

参考资料来源：百度百科-大数据

大数据技术可以理解为在巨量的数据资源中提取到有价值的数据加以分析和处理，主要的表现特征如下：

数据量大（Volume）。第一个特征是数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

类型繁多（Variety）。第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

价值密度低（Value）。第三个特征是数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。

速度快时效高（Velocity）。第四个特征数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。

毫无疑问，终身学习的理念已经被所有智慧的人接受。保持自己的学习能力首先必须树立终身学习的理念，很多人认为工作以后做好自己那一摊事，下班放松放松人生就圆满了，这无疑会成为成长的桎梏和绊脚石。很多时候我们没做好，其实就是我们没有完全想明白。

至于学习方法这个不同个体，不同领域有所不同，不可一概而论。但必须强调一点，无论任何灵域都要有耐心，都要重视积累和成长，一步登天是不可能的。还是要选择自己感兴趣的内容去学习，这样才有坚持下去的动力。最好从和工作相关的内容中找一个能长期努力提升自己的项目来做。比如你现在是电工，那么可以选择要遇到的电路设计这个方面提高自己。

你是快递，就从积累用户信息偏好，研究送件的路线效率入手，应该都有相应学科。因为与本职工作隔离的学习往往意味着你对现实的不满和逃离，这种情况下是学不好的。把标准放低一点，能每天保持一定时间的学习动力和热情，这里首先我们需要确定一下每天保持一定时间的学习动力和热情的原因，然后确定目标。提升工作技能，加强吸金能力，然后有资本去提升学历，提升综合能力。简单的方法就是降低学习难度，每天的学习时间减少，让大脑中的多巴胺系统形成一个回路，这个行为就像上瘾一样，让你持续学习，形成良性循环。保持学习的持续性才能继续保持学习能力。

1 大数据兴起预示“信息时代”进入新阶段
（1） 看待大数据要有历史性的眼光
信息时代是相对于农业和工业时代而言的一段相当长的时间。不同时代的生产要素和社会发展驱动力有明显差别。信息时代的标志性技术发明是数字计算机、集成电路、光纤通信和互联网（万维网）。尽管媒体上大量出现“大数据时代”的说法，但大数据、云计算等新技术目前还没有出现与上述划时代的技术发明可媲美的技术突破，难以构成一个超越信息时代的新时代。信息时代可以分成若干阶段，大数据等新技术的应用标志着信息社会将进入一个新阶段。
考察分析100年以上的历史长河可以发现，信息时代与工业时代的发展规律有许多相似之处。电气化时代与信息时代生产率的提高过程惊人地相似。都是经过20~30年扩散储备之后才有明显提高，分界线分别是1915年和1995年。笔者猜想，信息技术经过几十年的扩散储备后，21世纪的前30年可能是信息技术提高生产率的黄金时期。
（2） 从“信息时代新阶段”的高度认识“大数据”
中国已开始进入信息时代，但许多人的思想还停留在工业时代。经济和科技工作中出现的许多问题，其根源是对时代的认识不到位。18-19世纪中国落后挨打，根源是满清政府没有认识到时代变了，我们不能重犯历史性的错误。
中央提出中国进入经济“新常态”以后，媒体上有很多讨论，但多数是为经济增速降低做解释，很少有从时代改变的角度论述“新常态”的文章。笔者认为，经济新常态意味着中国进入了以信息化带动新型工业化、城镇化和农业现代化的新阶段，是经济和社会管理的跃迁，不是权宜之计，更不是倒退。
大数据、移动互联网、社交网络、云计算、物联网等新一代信息技术构成的IT架构“第三平台”是信息社会进入新阶段的标志，对整个经济的转型有引领和带动作用。媒体上经常出现的互联网、创客、“第二次机器革命”、“工业40”等都与大数据和云计算有关。大数据和云计算是新常态下提高生产率的新杠杆，所谓创新驱动发展就是主要依靠信息技术促进生产率的提高。
（3）大数据可能是中国信息产业从跟踪走向引领的突破口
中国的大数据企业已经有相当好的基础。全球十大互联网服务企业中国占有4席（阿里巴巴、腾讯、百度和京东），其他6个Top10 互联网服务企业全部是美国企业，欧洲和日本没有互联网企业进入Top10。这说明中国企业在基于大数据的互联网服务业务上已处于世界前列。在发展大数据技术上，我国有可能改变过去30年技术受制于人的局面，在大数据应用上中国有可能在全世界起到引领作用。
但是，企业的规模走在世界前列并不表示我国在大数据技术上领先。实际上，国际上目前流行的大数据主流技术没有一项是我国开创的。开源社区和众包是发展大数据技术和产业的重要途径，但我们对开源社区的贡献很小，在全球近万名社区核心志愿者中，我国可能不到200名。我们要吸取过去基础研究为企业提供核心技术不够的教训，加强大数据基础研究和前瞻技术研究，努力攻克大数据核心和关键技术。
2 理解大数据需要上升到文化和认识论的高度
（1） 数据文化是一种先进文化
数据文化的本质是尊重客观世界的实事求是精神，数据就是事实。重视数据就是强调用事实说话、按理性思维的科学精神。中国人的传统习惯是定性思维而不是定量思维。目前许多城市在开展政府数据开放共享工作，但是发现多数老百姓对政府要开放的数据并不感兴趣。要让大数据走上健康的发展轨道，首先要大力弘扬数据文化。本文讲的数据文化不只是大数据用于文艺、出版等文化产业，而是指全民的数据意识。全社会应认识到：信息化的核心是数据，只有政府和大众都关注数据时，才能真正理解信息化的实质；数据是一种新的生产要素，大数据的利用可以改变资本和土地等传统要素在经济中的权重。
有人将“上帝与数据共舞”归纳为美国文化的特点之一，说的是美国人既有对神的诚意，又有通过数据求真的理性。美国从镀金时代到进步主义时期完成了数据文化的思维转变，南北战争之后人口普查的方法被应用到很多领域，形成了数据预测分析的思维方式。近百年来美国和西方各国的现代化与数据文化的传播渗透有密切关系，我国要实现现代化也必须强调数据文化。
提高数据意识的关键是要理解大数据的战略意义。数据是与物质、能源一样重要的战略资源，数据的采集和分析涉及每一个行业，是带有全局性和战略性的技术。从硬技术到软技术的转变是当今全球性的技术发展趋势，而从数据中发现价值的技术正是最有活力的软技术，数据技术与数据产业的落后将使我们像错过工业革命机会一样延误一个时代。
（2）理解大数据需要有正确的认识论
历史上科学研究是从逻辑演绎开始的，欧几里得几何的所有定理可从几条公理推导出来。从伽利略和牛顿开始，科学研究更加重视自然观察和实验观察，在观察基础上通过归纳方法提炼出科学理论，“科学始于观察”成为科学研究和认识论的主流。经验论和唯理论这两大流派都对科学的发展做出过重大贡献，但也暴露出明显的问题，甚至走入极端。理性主义走向极端就成为康德所批判的独断主义，经验主义走入极端就变成怀疑论和不可知论。
20世纪30年代，德国哲学家波普尔提出了被后人称为“证伪主义”的认识论观点，他认为科学理论不能用归纳法证实，只能被试验发现的反例“证伪”，因而他否定科学始于观察，提出“科学始于问题”的著名观点[3]。证伪主义有其局限性，如果严格遵守证伪法则，万有引力定律、原子论等重要理论都可能被早期的所谓反例扼杀。但“科学始于问题”的观点对当前大数据技术的发展有指导意义。
大数据的兴起引发了新的科学研究模式：“科学始于数据”。从认识论的角度看，大数据分析方法与“科学始于观察”的经验论较为接近，但我们要牢记历史的教训，避免滑入否定理论作用的经验主义泥坑。在强调“相关性”的时候不要怀疑“因果性”的存在；在宣称大数据的客观性、中立性的时候，不要忘了不管数据的规模如何，大数据总会受制于自身的局限性和人的偏见。不要相信这样的预言：“采用大数据挖掘，你不需要对数据提出任何问题，数据就会自动产生知识”。面对像大海一样的巨量数据，从事数据挖掘的科技人员最大的困惑是，我们想捞的“针”是什么？这海里究竟有没有“针”？也就是说，我们需要知道要解决的问题是什么。从这个意义上讲，“科学始于数据”与“科学始于问题”应有机地结合起来。
对“原因”的追求是科学发展的永恒动力。但是，原因是追求不完的，人类在有限的时间内不可能找到“终极真理”。在科学的探索途中，人们往往用“这是客观规律”解释世界，并不立即追问为什么有这样的客观规律。也就是说，传统科学并非只追寻因果性，也可以用客观规律作为结论。大数据研究的结果多半是一些新的知识或新的模型，这些知识和模型也可以用来预测未来，可以认为是一类局部性的客观规律。科学史上通过小数据模型发现一般性规律的例子不少，比如开普勒归纳的天体运动规律等；而大数据模型多半是发现一些特殊性的规律。物理学中的定律一般具有必然性，但大数据模型不一定具有必然性，也不一定具有可演绎性。大数据研究的对象往往是人的心理和社会，在知识阶梯上位于较高层，其自然边界是模糊的，但有更多的实践特征。大数据研究者更重视知行合一，相信实践论。大数据认识论有许多与传统认识论不同的特点，我们不能因其特点不同就否定大数据方法的科学性。大数据研究挑战了传统认识论对因果性的偏爱，用数据规律补充了单一的因果规律，实现了唯理论和经验论的数据化统一，一种全新的大数据认识论正在形成。
   3 正确认识大数据的价值和效益
（1）大数据的价值主要体现为它的驱动效应
人们总是期望从大数据中挖掘出意想不到的“大价值”。实际上大数据的价值主要体现在它的驱动效应，即带动有关的科研和产业发展，提高各行各业通过数据分析解决困难问题和增值的能力。大数据对经济的贡献并不完全反映在大数据公司的直接收入上，应考虑对其他行业效率和质量提高的贡献。大数据是典型的通用技术，理解通用技术要采用“蜜蜂模型”：蜜蜂的效益主要不是自己酿的蜂蜜，而是蜜蜂传粉对农业的贡献。
电子计算机的创始人之一冯·诺依曼曾指出：“在每一门科学中，当通过研究那些与终极目标相比颇为朴实的问题，发展出一些可以不断加以推广的方法时，这门学科就得到了巨大的进展。”我们不必天天期盼奇迹出现，多做一些“颇为朴实”的事情，实际的进步就在扎扎实实的努力之中。媒体喜欢宣传一些令人惊奇的大数据成功案例，对这些案例我们应保持清醒的头脑。据Intel中国研究院首席工程师吴甘沙在一次报告中透露，所谓“啤酒加尿布”的数据挖掘经典案例，其实是Teradata公司一位经理编出来的“故事”，历史上并没有发生过[4]。即使有这个案例，也不说明大数据分析本身有什么神奇，大数据中看起来毫不相关的两件事同时或相继出现的现象比比皆是，关键是人的分析推理找出为什么两件事物同时或相继出现，找对了理由才是新知识或新发现的规律，相关性本身并没有多大价值。
有一个家喻户晓的寓言可以从一个角度说明大数据的价值：一位老农民临终前告诉他的3个儿子，他在他家的地中埋藏了一罐金子，但没有讲埋在哪里。
他的儿子们把他家所有的地都深挖了一遍，没有挖到金子，但由于深挖了土地，从此庄稼收成特别好。数据收集、分析的能力提高了，即使没有发现什么普适的规律或令人完全想不到的新知识，大数据的价值也已逐步体现。
（2）大数据的力量来自“大成智慧”
每一种数据来源都有一定的局限性和片面性，只有融合、集成各方面的原始数据，才能反映事物的全貌。事物的本质和规律隐藏在各种原始数据的相互关联之中。不同的数据可能描述同一实体，但角度不同。对同一个问题，不同的数据能提供互补信息，可对问题有更深入的理解。因此在大数据分析中，汇集尽量多种来源的数据是关键。
数据科学是数学（统计、代数、拓扑等）、计算机科学、基础科学和各种应用科学融合的科学，类似钱学森先生提出的“大成智慧学”[5]。钱老指出：“必集大成，才能得智慧”。大数据能不能出智慧，关键在于对多种数据源的集成和融合。IEEE计算机学会最近发布了2014年的计算机技术发展趋势预测报告，重点强调“无缝智慧（seamless intelligence）”。发展大数据的目标就是要获得协同融合的“无缝智慧”。单靠一种数据源，即使数据规模很大，也可能出现“瞎子摸象”一样的片面性。数据的开放共享不是锦上添花的工作，而是决定大数据成败的必要前提。
大数据研究和应用要改变过去各部门和各学科相互分割、独立发展的传统思路，重点不是支持单项技术和单个方法的发展，而是强调不同部门、不同学科的协作。数据科学不是垂直的“烟囱”，而是像环境、能源科学一样的横向集成科学。
（3）大数据远景灿烂，但近期不能期望太高
交流电问世时主要用作照明，根本想象不到今天无处不在的应用。大数据技术也一样，将来一定会产生许多现在想不到的应用。我们不必担心大数据的未来，但近期要非常务实地工作。人们往往对近期的发展估计过高，而对长期的发展估计不足。Gartner公司预测，大数据技术要在5~10年后才会成为较普遍采用的主流技术，对发展大数据技术要有足够的耐心。
大数据与其他信息技术一样，在一段时间内遵循指数发展规律。指数发展的特点是，从一段历史时期衡量（至少30年），前期发展比较慢，经过相当长时间（可能需要20年以上）的积累，会出现一个拐点，过了拐点以后，就会出现爆炸式的增长。但任何技术都不会永远保持“指数性”增长，一般而言，高技术发展遵循Gartner公司描述的技术成熟度曲线（hype cycle），最后可能进入良性发展的稳定状态或者走向消亡。
需要采用大数据技术来解决的问题往往都是十分复杂的问题，比如社会计算、生命科学、脑科学等，这些问题绝不是几代人的努力就可以解决的。宇宙经过百亿年的演化，才出现生物和人类，其复杂和巧妙堪称绝伦，不要指望在我们这一代人手中就能彻底揭开其奥妙。展望数百万年甚至更长远的未来，大数据技术只是科学技术发展长河中的一朵浪花，对10~20年大数据研究可能取得的科学成就不能抱有不切实际的幻想。
 4 从复杂性的角度看大数据研究和应用面临的挑战
大数据技术和人类探索复杂性的努力有密切关系。20世纪70年代，新三论（耗散结构论、协同论、突变论）的兴起对几百年来贯穿科学技术研究的还原论发起了挑战。1984年盖尔曼等3位诺贝尔奖得主成立以研究复杂性为主的圣菲研究所，提出超越还原论的口号，在科技界掀起了一场复杂性科学运动。虽然雷声很大，但30年来并未取得预期的效果，其原因之一可能是当时还没有出现解决复杂性的技术。
集成电路、计算机与通信技术的发展大大增强了人类研究和处理复杂问题的能力。大数据技术将复杂性科学的新思想发扬光大，可能使复杂性科学得以落地。复杂性科学是大数据技术的科学基础，大数据方法可以看作复杂性科学的技术实现。大数据方法为还原论与整体论的辩证统一提供了技术实现途径。大数据研究要从复杂性研究中吸取营养，从事数据科学研究的学者不但要了解20世纪的“新三论”，可能还要学习与超循环、混沌、分形和元胞自动机等理论有关的知识，扩大自己的视野，加深对大数据机理的理解。
大数据技术还不成熟，面对海量、异构、动态变化的数据，传统的数据处理和分析技术难以应对，现有的数据处理系统实现大数据应用的效率较低，成本和能耗较大，而且难以扩展。这些挑战大多来自数据本身的复杂性、计算的复杂性和信息系统的复杂性。
（1）数据复杂性引起的挑战
图文检索、主题发现、语义分析、情感分析等数据分析工作十分困难，其原因是大数据涉及复杂的类型、复杂的结构和复杂的模式，数据本身具有很高的复杂性。目前，人们对大数据背后的物理意义缺乏理解，对数据之间的关联规律认识不足，对大数据的复杂性和计算复杂性的内在联系也缺乏深刻理解，领域知识的缺乏制约了人们对大数据模型的发现和高效计算方法的设计。形式化或定量化地描述大数据复杂性的本质特征及度量指标，需要深入研究数据复杂性的内在机理。人脑的复杂性主要体现在千万亿级的树突和轴突的链接，大数据的复杂性主要也体现在数据之间的相互关联。理解数据之间关联的奥秘可能是揭示微观到宏观“涌现”规律的突破口。大数据复杂性规律的研究有助于理解大数据复杂模式的本质特征和生成机理，从而简化大数据的表征，获取更好的知识抽象。为此，需要建立多模态关联关系下的数据分布理论和模型，理清数据复杂度和计算复杂度之间的内在联系，奠定大数据计算的理论基础。
（2） 计算复杂性引起的挑战
大数据计算不能像处理小样本数据集那样做全局数据的统计分析和迭代计算，在分析大数据时，需要重新审视和研究它的可计算性、计算复杂性和求解算法。大数据样本量巨大，内在关联密切而复杂，价值密度分布极不均衡，这些特征对建立大数据计算范式提出了挑战。对于PB级的数据，即使只有线性复杂性的计算也难以实现，而且，由于数据分布的稀疏性，可能做了许多无效计算。
传统的计算复杂度是指某个问题求解时需要的时间空间与问题规模的函数关系，所谓具有多项式复杂性的算法是指当问题的规模增大时，计算时间和空间的增长速度在可容忍的范围内。传统科学计算关注的重点是，针对给定规模的问题，如何“算得快”。而在大数据应用中，尤其是流式计算中，往往对数据处理和分析的时间、空间有明确限制，比如网络服务如果回应时间超过几秒甚至几毫秒，就会丢失许多用户。大数据应用本质上是在给定的时间、空间限制下，如何“算得多”。从“算得快”到“算得多”，考虑计算复杂性的思维逻辑有很大的转变。所谓“算得多”并不是计算的数据量越大越好，需要探索从足够多的数据，到刚刚好的数据，再到有价值的数据的按需约简方法。
基于大数据求解困难问题的一条思路是放弃通用解，针对特殊的限制条件求具体问题的解。人类的认知问题一般都是NP难问题，但只要数据充分多，在限制条件下可以找到十分满意的解，近几年自动驾驶汽车取得重大进展就是很好的案例。为了降低计算量，需要研究基于自举和采样的局部计算和近似方法，提出不依赖于全量数据的新型算法理论，研究适应大数据的非确定性算法等理论。
（3）系统复杂性引起的挑战
大数据对计算机系统的运行效率和能耗提出了苛刻要求，大数据处理系统的效能评价与优化问题具有挑战性，不但要求理清大数据的计算复杂性与系统效率、能耗间的关系，还要综合度量系统的吞吐率、并行处理能力、作业计算精度、作业单位能耗等多种效能因素。针对大数据的价值稀疏性和访问弱局部性的特点，需要研究大数据的分布式存储和处理架构。
大数据应用涉及几乎所有的领域，大数据的优势是能在长尾应用中发现稀疏而珍贵的价值，但一种优化的计算机系统结构很难适应各种不同的需求，碎片化的应用大大增加了信息系统的复杂性，像昆虫种类一样多（500多万种）的大数据和物联网应用如何形成手机一样的巨大市场，这就是所谓“昆虫纲悖论”[6]。为了化解计算机系统的复杂性，需要研究异构计算系统和可塑计算技术。
大数据应用中，计算机系统的负载发生了本质性变化，计算机系统结构需要革命性的重构。信息系统需要从数据围着处理器转改变为处理能力围着数据转，关注的重点不是数据加工，而是数据的搬运；系统结构设计的出发点要从重视单任务的完成时间转变到提高系统吞吐率和并行处理能力，并发执行的规模要提高到10亿级以上。构建以数据为中心的计算系统的基本思路是从根本上消除不必要的数据流动，必要的数据搬运也应由“大象搬木头”转变为“蚂蚁搬大米”。
 5 发展大数据应避免的误区
（1） 不要一味追求“数据规模大”
大数据主要难点不是数据量大，而是数据类型多样、要求及时回应和原始数据真假难辨。现有数据库软件解决不了非结构化数据，要重视数据融合、数据格式的标准化和数据的互 *** 作。采集的数据往往质量不高是大数据的特点之一，但尽可能提高原始数据的质量仍然值得重视。脑科学研究的最大问题就是采集的数据可信度差，基于可信度很差的数据难以分析出有价值的结果。
一味追求数据规模大不仅会造成浪费，而且效果未必很好。多个来源的小数据的集成融合可能挖掘出单一来源大数据得不到的大价值。应多在数据的融合技术上下功夫，重视数据的开放与共享。所谓数据规模大与应用领域有密切关系，有些领域几个PB的数据未必算大，有些领域可能几十TB已经是很大的规模。
发展大数据不能无止境地追求“更大、更多、更快”，要走低成本、低能耗、惠及大众、公正法治的良性发展道路，要像现在治理环境污染一样，及早关注大数据可能带来的“污染”和侵犯隐私等各种弊端。
（2） 不要“技术驱动”，要“应用为先”
新的信息技术层出不穷，信息领域不断冒出新概念、新名词，估计继“大数据”以后，“认知计算”、“可穿戴设备”、“机器人”等新技术又会进入炒作高峰。我们习惯于跟随国外的热潮，往往不自觉地跟着技术潮流走，最容易走上“技术驱动”的道路。实际上发展信息技术的目的是为人服务，检验一切技术的唯一标准是应用。我国发展大数据产业一定要坚持“应用为先”的发展战略，坚持应用牵引的技术路线。技术有限，应用无限。各地发展云计算和大数据，一定要通过政策和各种措施调动应用部门和创新企业的积极性，通过跨界的组合创新开拓新的应用，从应用中找出路。
（3） 不能抛弃“小数据”方法
流行的“大数据”定义是：无法通过目前主流软件工具在合理时间内采集、存储、处理的数据集。这是用不能胜任的技术定义问题，可能导致认识的误区。按照这种定义，人们可能只会重视目前解决不了的问题，如同走路的人想踩着自己身前的影子。其实，目前各行各业碰到的数据处理多数还是“小数据”问题。我们应重视实际碰到的问题，不管是大数据还是小数据。
统计学家们花了200多年，总结出认知数据过程中的种种陷阱，这些陷阱不会随着数据量的增大而自动填平。大数据中有大量的小数据问题，大数据采集同样会犯小数据采集一样的统计偏差。Google公司的流感预测这两年失灵，就是由于搜索推荐等人为的干预造成统计误差。
大数据界流行一种看法：大数据不需要分析因果关系、不需要采样、不需要精确数据。这种观念不能绝对化，实际工作中要逻辑演绎和归纳相结合、白盒与黑盒研究相结合、大数据方法与小数据方法相结合。
（4） 要高度关注构建大数据平台的成本
目前全国各地都在建设大数据中心，吕梁山下都建立了容量达2 PB以上的数据处理中心，许多城市公安部门要求存储3个月以上的高清监控录像。这些系统的成本都非常高。数据挖掘的价值是用成本换来的，不能不计成本，盲目建设大数据系统。什么数据需要保存，要保存多少时间，应当根据可能的价值和所需的成本来决定。大数据系统技术还在研究之中，美国的E级超级计算机系统要求能耗降低1 000倍，计划到2024年才能研制出来，用现在的技术构建的巨型系统能耗极高。
我们不要攀比大数据系统的规模，而是要比实际应用效果，比完成同样的事消耗更少的资源和能量。先抓老百姓最需要的大数据应用，因地制宜发展大数据。发展大数据与实现信息化的策略一样：目标要远大、起步要精准、发展要快速。

最近利用工作之余读了《轻资产时代》，轻资产概念诞生依赖于互联网的发展，中国作为全世界互联网落地应用最发达、最成熟的国家，产业、行业以及生活的各种轻资产化已经成为社会优化的主流趋势。这本适合管理者、创业者以及对时代变化的有心者阅读，站在时代浪潮上，作为一名清醒的旁观者，亦作为热情的参与者，去品位、审视、借鉴、迎合以及拥抱时代的到来。
我们生活在轻资产时代，人们大都认同改革开放初的20年是属于下海者的时代，这时期创造了无数先富阶级的青铜时代，同时过去的20年是属于炒房者的时代，这一阶段是地产新贵走向鼎盛的丝绸时代。但没有人可以阻挡的是未来20年将注定是属于互联网弄潮儿的时代，这时期将是无数年轻人想得尊贵的黄金时代。
资产数字化和数字生产力将为年轻人打开一个有别于房地产经济的崭新财富空间，区域经济活跃和城市崛起将为年轻人构筑一个独立于北上广之外的广阔生存天地。无数的年轻人将因智慧商业的发展而成为未来的财富新贵，与此同时，大量无人居住的鬼屋鬼城令房子不再是财富的象征。

万物流通。 人流，物流，资金流，信息流，决定了一个地区一个时代商业发展的程度。传统的“四流”让物理性资产流动受到时间和空间的限制，流动性差。幸运的是，物联网为此提供了可能性，互联网金融兴使得资金的流通进入了秒时代，随着而来未来的生意可以归结为数据的流通。连同我们日常生活的基础设施，进一步液化流动也会成为必然。万物互联及万物流通。
另一方面，个体无法负担系统成本，是轻资产出现的深层原因。主要表现为：第一个阶段物质不足，所以条件下非资源经济优化配置和各类人情关系产生了“借”文化。第二阶段，人情过渡到稍正式的经济关系，而加速资产流动，产生“租”模式。三是分担购买成本，产生了个人分享出资产的分享文化；第四阶段，系统成本分散与个人共担，放弃产权只享受服务的“共享经济”营运而生。

不为我有，但为我用的新思维模式。 物资稀缺的年代，拥有大于使用；而物资过剩的今天，“购买即拥有”转变为“付费及使用”。大数据化催生的智能商品是个称职暖男，比你拥有的东西更懂。不仅如此，产品突破工业化生产的边界带有服务属性，全社会由物质型社会转变为服务型社会。产品变革带来的生产关系变革，智能化商品在莫种意义上实现了共产主义。

资产重组，轻重联手。 市场供需模糊滞后及传统资产成本高，使结构性过剩成为主要问题；解决这个问题的方法是，市场这只无形的手，加上云计算大数据AI，形成无形的脑，从而将资产放在正确的位置。然而这无形脑，更善于 *** 作便于交易流通和使用的轻资产，因而形成的未来社会也成为轻资产价驾驭重资产重资产。类似万达玩命的想融入互联网，马云疯狂的收编传统商业，这种手脑并用、轻重资产联合的模式，就像灵与肉的关系，只有彼此合为一体才能发挥出最大的价值。

迭代快速，物尽所用。 重资产存在严重弊端，重资产迭代需要付出高昂的额外的管理成本和时间成本，且迭代过于频繁，社会财富和个人财富将因此耗尽。而轻资产迭代只需软件提供高效的算法和数据能力即可，这一点完胜重资产。另外，在传统所有权、使用权、经营权、收益权归为一体的资产集权的概念下，区块链去中心化、分布式账本的特点可实现资产确权、分权和资产溯源，从而实现资产管理的革命性进展。典型例子，土地流转交易利用区块链技术所将土地所有权、承包权、经营权进行三权分立，从而闲置的农村土地参与流转和抵押贷款。区块链用这种魔力，让大量拥有固定产权的闲置资产，通过使用权经营权分离的形式流入市场，达到了社会资产的物尽所用。

“愉悦行业”呼唤轻资产。 “愉悦行业”，或者叫做“孤独产业”成为当今消费的一个小众却潜力无穷的趋势。消费的非物质化，倒逼新型商业基础和商业体围绕“精神愉悦”来开展。主播、伴游、陪聊、美容师、助眠师、心理咨询师等等类似职业，成为市场经济的一个重要部分。商业正沿着马斯洛需求层次理论从物质走向精神需要，精神资产的诞生也突破了邓巴定律150人交际圈的上线。
电作为新型货币的构想：新型数字资产数字货币。底层逻辑来源于通信介质书信到光电的变化。加上货币必须满足的条件是速度快，产生价值，具备信用力，生产力、人人平等。电力正好满足以上条件，流通快，作为智能时代的支柱能源，被认为绝对是硬通货

存量向增量转变。 中国正由高速增长向高质量发展转变，在高速增长阶段人们向增量要效率，所以带来了大工业化时代，在高质量发展阶段，人们向存量要效率，也催生了智能化时代。现阶段存量效率提升受益于末端经济。人工智能、大数据、云计算等连接商业末端，形成“无形的脑”来精准调节市场资源，以代替传统价格市场调节。因此，通过赋能存量及智慧化改造，打造超级个体也可以来盘活存量，减少存量，个体的闲置时间发展出的共享经济又可以通过虚拟化存量。用数字货币替代纸币，用虚拟互联网来消灭实体银行，用网络售票代替实体售票点。
消费者消失，用户崛起。 新型商业由以消费者为中心（购买即结束）转变为以用户为中心（付费即开始）。消费者这个角色对商业效率的提升的贡献为零。以沃尔玛为例，其效率的提高来自于商业体系和员工管理。用户思维是商业效率提升的主要来源，以盒马生鲜为例，效率的关键和核心环节都在于用户。用户更进一层是“超级用户”或“智能用户”，是指通过智能终端接入商业20的主人（主动接入），或被商业基础设施20服务轻松覆盖的人群（被动接入）。超级用户对商业效率的改进是革命性的，手机上众多的APP是超级用户的接入端口，用户是商业连接点，新兴商业体一用户为中心形成完成闭环，若不重视与“用户”链接，就会被其他智慧商业体淘汰。对于用户，权益保护的努力，也无形中贡献者商业效率的提升。大数据杀熟、信息泄露、恶意搭售这些侵犯用户的商业行为便成为新兴商业体不应触碰的雷区。
反向交易与逆向商业化。 传统商业为正向交易，从研发、销售到购买一个系统的反馈比较慢；而新兴商业是反向交互式，从研发到销售到购买的，接着到反馈到体验到收集资料分析，再进行试生产化形成一个循环。新兴商业是末端思维，有需求才会发生交易；传统商业是供给性思维，向上整合产业，例如中粮集团，主要集中于技术，人力，生产，销售这些前端，所以它带来高品质、价格、技术的高端化的弊端。而新兴商业体焦距于需求侧，主要发力在需求体验消费者，从需求侧向上逆袭给供给侧。相对于传统，它是一种逆向商业化。
加法生活到减法生活。轻资产意味着人们从加法世界过渡到一个减法世界，新兴商业体应运而生的过滤和筛选的功能，为我们的减法提供了便利的条件。数据的偶然匹配到数据的恰好合适，众多的好运气般商业体验都来源于商业的力量。
智能家居的暖男体感、区块链点对点无延迟交易、以及AR、VR等各类App，给人类行为、人类流程及人类沟通都在做减法。未来商业模式的真正竞争力就在于：如何在信息过载、物质过载、生活过载、社交过载的社会里，帮人们做一个减法，让乱糟糟的世界游刃有余。
信用就是商业的杠杆。拥有多少财产的高度是一致固定状态，驾驭多少财产则适用于杠杆原理。在轻资产世界里，作为信用良好每个人，都有机会无抵押获得贷款，对于失信者，新兴的商业机制和互联网信用社会反而加以惩罚，从吃穿住行都限制失信者行为能力，从而让守信者获得更大的成本优势，真正的激发个体商业的效率。
时间是商业的新战场。 新商业下的效率并非越快越好，而是刚刚好。智能商业不仅实现了刚刚好，且时间维度上消灭了库存与生产过剩。其本质在于为用户节省时间，为商业链减少不必要的损耗。将企业效率导向变为用户效率导向，商业竞争手段由价格屠夫让位于时间屠夫。另一方面，以收割的注意力为目标，优化商业的中间环节，顺畅匹配供给和需求。第三消灭第三方中介，去中介化、去中心化的区块链诞生，打造点对点的直接网络交易，也实现无中间延迟，解放时间。

人类社会的商业进程。 智慧商业10阶段；新型产权社会。万物因互联网快速涌动，人类社会进入一个轻资产时代，轻资产会加于重资产，财富被重新定义和分配。智慧商业20阶段：连接型社会。万物因互联网而效率提升，商业运行从机器效率升级为生物效率，秒级响应和无缝对接，让末端经济爆发和崛起。智慧商业30阶段：超智能社会。万物因互联网而智能进化，人类社会被数字生产力推动前行，随遇而安的超智能社会进行到来
大数据链接驱动数字市场。 传统商业的规则是等价交换，新商业规则是数字市场，可以区别为；链接+数据替代传统的货币+商品。这种数字生产力驱动的数字市场演化主要体现在4个方面，一是物联网（看不见的脑）替代人为管理。二是企业+消费者的模式转变为商业体+用户。三是自由市场依赖人提供商业粘性，而数字市场依靠人建立的智能系统，让衔接更平滑。四是企业与企业的合作关系变为商业体与=与商业体间的共生关系。总之，数字市场中，需要通过智能APP来无缝介入基础设施，20重资产的物理世界商业规则，与轻资产虚拟世界的商业规则完全不同。
软商业超越硬商业。 传统商业组织内部协调，像骨骼一样沟通高效，衔接有序，但难以与外部建立神经反射一样的密切联系，称之为硬商业。新兴的软商业由云计算、工智能、大数据和物联网，构成新机制突破了互联网虚拟世界的边界，神经网络般的反应处理 ，实现对物理世界的生物控制。各种传感、5G、cpu等硬件网络设备，以及云计算、边缘计算、人工智能等数据软件系统从是硬到软的过渡必不可少的条件。像万达影院+猫眼**，例如快递公司+菜鸟物流，这些模式，完全反映了经脉超越骨架的新型商业特征。
机器智能是未来出路。 机器智能经历三个典型的迭代发展阶段，第一人工智能+机器：如无人工厂汽车辅助驾驶，特征是自动化机器与人工智能相连接实现无人化，。第二机器智能：无人驾驶智能工厂特征是海量传感器和芯片构成的物理世界，的神经网络实现物理世界的智能化。三人机融合：特征是带有脑机接口的机器智能出现，人类大脑与机器之间连接实现人机交互。到第三阶段，科技高度发达，真正建立起人类意识与物理世界的连接。
云端大脑引领高维智能。 稀缺性定理使得一切稀缺资源由商业流向他们能产生最大价值的地方，既是商业的魅力也是文明的规则。在物理世界，通过买卖、租赁、拆借等变换使用权的形式来解决稀缺问题；在虚拟数字市场，通过数据存储、数据计算、人工智能使稀缺资源"云化"，商业体从而接入云端，付费获得云上资源的使用权。熵增定律告诉人们：智能问题从根本上是消除不确定性，而大数据是恰是解决不确定性的良药。越大量，越多维度的数据，引入到封闭系统中，从而降低信息熵，增加确定性，产生高级智能。
数字孪生商业体与用户的无缝连接。 商业体和用户的结合，我们称之为数字孪生的生产力。前面已讲，随着商业第3次进化，企业和消费者的消失而诞生。传统商业是固定资产决定估值，而新兴商业是用户规模决定估值，孪生生产力走的是自下而上的改造路径。因此注定多面临的问题是交叉股权:多生态合作，共享用户，交叉股权是智能化时代的责任和利益考量，需要面对的课题 。
随遇而安的超智能社会到来。 随着人类与商业基础设施之间建立同步密切联系，所有商业基础设施作出符合“实时在线”和“即插即用”的属性改造；加之人工智能的迭代将是指数级进步，超级社会抵达无限智能的临界点，也将变得随心所欲，无所不能。另一方面，超智能社会将会改写人类的财富观。因为人们必须链接到商业生态中才能生存，世界不会再有财富孤岛，人们将为使用权付费。在超级社会里财富规则是:“拥有只是一时自我安慰的假象，使用才是长情告白”。随之而来，量子世界也完成了由力学到量子比特学的晋级，突破现有信息技术的物理极限，在信息处理速度、信息安全、信息容量、信息监测方面带来革命性的变化；量子智能也将物联网的算力直接晋级成智联网，那时我们将生活在一个无延迟的、随遇而安的世界。

---