大数据正在如何改变数据库格局

大数据正在如何改变数据库格局

提及“数据库”，大多数人会想到拥有30多年风光历史的RDBMS。然而，这可能很快就会发生改变。

一大批新的竞争者都在争夺这一块重要市场，他们的方法是多种多样的，却都有一个共同点：极其专注于大数据。推动新的数据迭代衍生品大部分都是基于底层大数据的3V特征：数量，速度和种类。本质上来讲，今天的数据比以往任何时候都要传输更快，体积更大，同时更加多样化。这是一个新的数据世界，换言之，传统的关系数据库管理系统并没有真正为此而设计。“基本上，他们不能扩展到大量，或快速，或不同种类的数据。”一位数据分析、数据科学咨询机构的总裁格雷戈里认为。这就是哈特汉克斯最近发现。截至到2013年左右，营销服务机构使用不同的数据库，包括MicrosoftSQLServer和Oracle真正应用集群（RAC）的组合。“我们注意到，数据随着时间的增长，我们的系统不能足够快速的处理信息”一位科技发展公司的负责人肖恩说到。“如果你不断地购买服务器，你只能继续走到这幺远，我们希望确保自己有向外扩展的平台。”最小化中断是一个重要的目标，Iannuzzi说到，因此“我们不能只是切换到Hadoop。”相反，却选择了拼接机器，基本上把完整的SQL数据库放到目前流行的Hadoop大数据平台之上，并允许现有的应用程序能够与它连接，他认为。哈特汉克斯现在是在执行的初期阶段，但它已经看到了好处，Iannuzzi说，包括提高容错性，高可用性，冗余性，稳定性和“性能全面提升”。一种完美风暴推动了新的数据库技术的出现，IDC公司研究副总裁CarlOlofson说到。首先，“我们正在使用的设备与过去对比，处理大数据集更加快速，灵活性更强”Olofson说。在过去，这样的集合“几乎必须放在旋转磁盘上”，而且数据必须以特定的方式来结构化，他解释说。现在有64位寻址，使得能够设置更大的存储空间以及更快的网络，并能够串联多台计算器充当单个大型数据库。“这些东西在不可用之前开辟了可能性”Olofson说。与此同时，工作负载也发生了变化。10年前的网站主要是静态的，例如，今天我们享受到的网络服务环境和互动式购物体验。反过来，需要新的可扩展性，他说。公司正在利用新的方式来使用数据。虽然传统上我们大部分的精力都放在了对事务处理_销售总额的记录，比如，数据存储在可以用来分析的地方_现在我们做的更多。应用状态管理就是一个例子假设你正在玩一个网络游戏。该技术会记录你与系统的每个会话并连接在一起，以呈现出连续的体验，即使你切换设备或各种移动，不同的服务器都会进行处理，Olofson解释说。数据必须保持连续性，这样企业才可以分析问题，例如“为什么从来没有人穿过水晶厅”。在网络购物方面，为什么对方点击选择颜色后大多数人不会购买某个特殊品牌的鞋子。“以前，我们并没试图解决这些问题，或者我们试图扔进盒子也不太合适”Olofson说。Hadoop是当今新的竞争者中一个重量级的产品。虽然他本身不是一个数据库，它的成长为企业解决大数据扮演关键角色。从本质上讲，Hadoop是一个运行高度并行应用程序的数据中心平台，它有很强的可扩展性。通过允许企业扩展“走出去”的分布方式，而不是通过额外昂贵的服务器“向上”扩展，“它使得我们可以低成本地把一个大的数据集汇总，然后进行分析研究成果”Olofson说。其他新的RDBMS的替代品如NoSQL家族产品，其中包括MongoDB-目前第四大流行数据库管理系统，比照DB引擎和MarkLogic非结构化数据存储服务。“关系型数据库一直是一项伟大的技术持续了30年，但它是建立在不同的时代有不同的技术限制和不同的市场需求，”MarkLogic的执行副总裁乔·产品帕卡说。大数据是不均匀的，他说。许多传统的技术，这仍然是一个基本要求。“想象一下，你的笔记本电脑上唯一的程序是Excel”帕卡说。“设想一下，你要和你的朋友利用网络保持联系_或者你正在写一个合约却不适合放进行和列中。”拼接数据集是特别棘手的“关系型，你把所有这些数据集中在一起前，必须先决定如何去组织所有的列，”他补充说。“我们可以采取任何形式或结构，并立即开始使用它。”NoSQL数据库没有使用关系数据模型，并且它们通常不具有SQL接口。尽管许多的NoSQL存储折中支持速度等其他因素，MarkLogic为企业定身量做，提供更为周全的选择。NoSQL储存市场有相当大的增长，据市场研究媒体，不是每个人都认为这是正确的做法-至少，不是在所有情况下。NoSQL系统“解决了许多问题，他们横向扩展架构，但他们却抛出了SQL，”一位CEO-MonteZweben说。这反过来，又为现有的代码构成问题。SpliceMachine是一家基于Hadoop的实时大数据技术公司，支持SQL事务处理，并针对OLAP和OLAP应用进行实时优化处理。它被称为替代NewSQL的一个例子，另一类预期会在未来几年强劲增长。“我们的理念是保持SQL，但横向扩展架构”Zweben说。“这是新事物，但我们正在努力试图使它让人们不必重写自己的东西。”深度信息科学选择并坚持使用SQL，但需要另一种方法。公司的DeepSQL数据库使用相同的应用程序编程接口（API）和关系模型如MySQL，意味着没有应用变化的需求而使用它。但它以不同的方式处理数据，使用机器学习。DeepSQL可以自动适应使用任何工作负载组合的物理，虚拟或云主机，该公司表示，从而省去了手动优化数据库的需要。该公司的首席战略官ChadJones表示，在业绩大幅增加的同时，也有能力将“规模化”为上千亿的行。一种来自Algebraix数据完全不同的方式，表示已经开发了数据的第一个真正的数学化基础。而计算器硬件需在数学建模前建成，这不是在软件的情况下，Algebraix首席执行官查尔斯银说。“软件，尤其是数据，从未建立在数学的基础上”他说，“软件在很大程度上是语言学的问题。”经过五年的研发，Algebraix创造了所谓的“数据的代数”集合论，“数据的通用语言”Silver说。“大数据肮脏的小秘密是数据仍然放在不与其他数据小仓融合的地方”Silver解释说。“我们已经证明，它都可以用数学方法来表示所有的集成。”配备一个基础的平台，Algebraix现在为企业提供业务分析作为一种服务。改进的性能，容量和速度都符合预期的承诺。时间会告诉我们哪些新的竞争者取得成功，哪些没有，但在此期间，长期的领导者如Oracle不会完全停滞不前。“软件是一个非常时尚行业”安德鲁·门德尔松，甲骨文执行副总裁数据库服务器技术说。“事情经常去从流行到不受欢迎，回再次到流行。”今天的许多创业公司“带回炒冷饭少许抛光或旋转就可以了”他说。“这是一个新一代孩子走出学校和重塑的东西。”SQL是“唯一的语言，可以让业务分析师提出问题并得到答案，他们没有程序员，”门德尔松说。“大市场将始终是关系型。”至于新的数据类型，关系型数据库产品早在上世纪90年代发展为支持非结构化数据，他说。在2013年，甲骨文的同名数据库版本12C增加了支持JSON（JavaScript对象符号）。与其说需要一个不同类型的数据库，它更是一种商业模式的转变，门德尔松说。“云，若是每个人都去，这将破坏这些小家伙”他说。“大家都在云上了，所以在这里有没有地方来放这些小家伙？“他们会去亚马逊的云与亚马逊竞争？”他补充说。“这将是困难的。”甲骨文有“最广泛的云服务”门德尔松说。“在现在的位置，我们感觉良好。”Gartner公司的研究主任里克·格林沃尔德，倾向于采取了类似的观点。“对比传统强大的RDBMS，新的替代品并非功能齐全”格林沃尔德说。“一些使用案例可以与新的竞争者来解决，但不是全部，并非一种技术”。展望未来，格林沃尔德预计，传统的RDBMS供货商感到价格压力越来越大，并为他们的产品增加新的功能。“有些人会自由地带来新的竞争者进入管理自己的整个数据生态系统”他说。至于新的产品，有几个会生存下来，他预测“许多人将被收购或资金耗尽”。今天的新技术并不代表传统的RDBMS的结束，“正在迅速发展自己”IDC的Olofson。赞成这种说法，“RDBMS是需要明确定义的数据_总是会有这样一个角色。”但也会有一些新的竞争者的角色，他说，特别是物联网技术和新兴技术如非易失性内存芯片模块（NVDIMM）占据上风。

1、多目标优化问题

对于教师和学生的满意可以用几个关键性的指标,如衡量老师的工作效率和工作强度及往返强度等,如定义

效率w=教师的实际上课时间/(教师坐班车时间+上课时间+在学校逗留时间)

然后教师的满意度S1为几个关键性指标的加权平均注意一些无量纲量和有量纲量的加权平均的归一化问题

对于学生可以定义每门课周频次,每天上课频次等等

对于学校满意,可以定义班车出动次数,这个指标和教师的某一个指标是联动的,教室和多媒体使用周期频次和使用时长等等

2、根据第一问的模型按照数据进行求解

3、教师、学生和学校的满意度作为指标

4、根据结果提出合理化建议

要进行一次完整的数据分析，首先要明确数据分析思路，如从那几个方面开展数据分析，各方面都包含什么内容或指标。是分析框架，给出分析工作的宏观框架，根据框架中包含的内容，再运用具体的分析方法进行分析。

数据分析方法论的作用：

理顺分析思路，确保数据分析结构体系化

把问题分解成相关联的部分，并显示他们的关系

为后续数据分析的开展指引方向

确保分析结果的有效性和正确性

五大数据分析模型

1PEST分析模型

政治环境：

包括一个国家的社会制度，执政党性质，政府的方针、政策、法令等。不同的政治环境对行业发展有不同的影响。

关键指标

政治体制，经济体制，财政政策，税收政策，产业政策，投资政策，专利数量，国防开支水平，政府补贴水平，民众对政治的参与度。

经济环境：

宏观和微观两个方面。

宏观：一个国家国民收入，国民生产总值以及变化情况，以通过这些指标反应国民经济发展水平和发展速度。

微观：企业所在地区的消费者收入水平、消费偏好、储蓄情况、就业程度等因素，这些因素决定着企业目前以及未来的市场大小。

关键指标

GDP及增长率、进出口总额及增长率、利率、汇率、通货膨胀率、消费价格指数、居民可支配收入、失业率、劳动生产率等。

社会环境：

包括一个国家或地区的居民受教育程度和文化水平、宗教信仰、风俗习惯、审美观点、价值观等。文化水平营销居民的需求层次，宗教信仰和风俗习惯会禁止或抵制某些活动的进行，价值观会影响居民对组织目标和组织活动存在本身的认可，审美观点则会影响人们对组织活动内容、活动方式以及活动成果的态度。

关键指标

人口规模、性别比例、年龄结构、出生率、死亡率、种族结构、妇女生育率、生活方式、购买习惯、教育状况、城市特点、宗教信仰状况等因素。

技术环境：

企业所处领域直接相关的技术手段发展变化，国家队科技开发的投资和支持重点，该领域技术发展动态和研究开发费用总额，技术转移和技术商品化速度，专利及其保护情况。

关键指标

新技术的发明和进展、折旧和报废速度、技术更新速度、技术传播速度、技术商品化速度、国家重点支持项目、国家投入的研发费用、专利个数、专利保护情况。

25W2H模型

5W2H分析法主要针对5个W以及2个H提出的7个关键词进行数据指标的选取，根据选取的数据进行分析

3逻辑树分析模型

将问题的所有子问题分层罗列，从最高层开始，并逐步向下扩展。

把一个已知问题当作树干，考虑这个问题和哪些问题有关，将相关的问题作为树枝加入到树干，一次类推，就会将问题扩展成一个问题树。

逻辑树能保证解决问题的过程完整性，将工作细化成便于 *** 作的具体任务，确定各部分优先顺序，明确责任到个人。

逻辑树分析法三原则：

要素化：把相同问题总结归纳成要素

框架化：将各个要素组成框架，遵守不重不漏原则

关联化：框架内的各要素保持必要的相互关系，简单而不孤立

44P营销理论模型

产品：

能提供给市场，被人们使用和消费并满足人们某种需求的任何东西，包括有形产品、服务、人员、组织、观念和它们的组合。

价格：

购买产品时的价格，包括基本价格、折扣价格、支付期限等。影响价格的主要因素有需求、成本和竞争。

渠道：

产品从生产企业流转到用户手上全过程所经历的各个环节。

促销：

企业通过销售行为的改变来激励用户消费，以短期的行为促进消费的增长，吸引其他品牌用户或导致提钱消费来促进销售增长。

5用户行为模型

用户行为指用户为获取、使用产品或服务才去的各种行动，首先要认知熟悉，然后试用，再决定是否继续消费使用，最后成为产品或服务的忠实用户。

行为轨迹：认知->熟悉->试用->使用->忠诚

最后

五大数据分析模型的应用场景根据数据分析所选取的指标不同也有所区别。

PEST分析模型主要针对宏观市场环境进行分析，从政治、经济、社会以及技术四个维度对产品或服务是否适合进入市场进行数据化的分析，最终得到结论，辅助判断产品或服务是否满足大环境。

5W2H分析模型的应用场景较广，可用于对用户行为进行分析以及产品业务分析。

逻辑树分析模型主要针对已知问题进行分析，通过对已知问题的细化分析，通过分析结论找到问题的最优解决方案。

4P营销理论模型主要用于公司或其中某一个产品线的整体运营情况分析，通过分析结论，辅助决策近期运营计划与方案。

用户行为分析模型应用场景比较单一，完全针对用户的行为进行研究分析。

当然，模型只是前人总结出的方式方法，对于我们实际工作中解决问题有引导作用，但是不可否认，具体问题还要具体分析，针对不同的情况需要进行不同的改进。

层次模型、网状模型、关系模型

层次模型（格式化模型）

定义和限制条件：有且仅有一个节点，无父节点，此节点为树的根；其他节点有且仅有一个父节点；

优点：

①数据结构简单清晰；

②利用指针记录边向联系，查询效率高；

③良好的完整新支持；

缺点：

①只能表示1：N的联系。尽管有许多辅助手段实现M：N的联系，但比较复杂，不易掌握。

②层次模型的树是有序树（层次顺序）。对任一结点的所有子树都规定了先后次序，这一限制隐含了对数据库存取路径的控制。

③树中父子结点之间只存在一种联系，因此，对树中的任一结点，只有一条自根结点到达它的路径。

网状模型（格式化模型）

网状模型的2个特征：允许一个以上的节点无双亲；一个节点可以有多于一个的双亲；

优点：

①可以更加清晰表达现实，符合现实中的数据关系；

②可以很快存取 *** 作；

缺点：

①结构复杂；

②不易掌握，网状模型的DDL，DDM复杂，并且并且要嵌入某一种高级语言（COBOL，c），用户不易掌握；

③应用程序复杂，记录之间的联系通过存取路径实现的，应用程序在访问数据时必须选择合适的存取路径，因此用户必须了解系统结构的细节，加重编写应用程序的负担；

关系模型

单一的数据结构——关系

现实世界的实体以及实体间的各种联系均用关系来表示，从用户角度看，关系模型中数据的逻辑结构是一张二维表。

优点：

①数据结构单一，关系模型中，不管是实体还是实体之间的联系，都用关系来表示，而关系都对应一张二维数据表，数据结构简单、清晰。

②关系规范化，并建立在严格的理论基础上，构成关系的基本规范要求关系中每个属性不可再分割，同时关系建立在具有坚实的理论基础的严格数学概念基础上。

③概念简单， *** 作方便，关系模型最大的优点就是简单，用户容易理解和掌握，一个关系就是一张二维表格，用户只需用简单的查询语言就能对数据库进行 *** 作。

缺点：

①查询效率不如格式化数据模型；

②为了提高性能，数据库管理系统需要优化用户查询，增加了数据库管理系统的开发难度；

以上就是关于大数据正在如何改变数据库格局全部的内容，包括:大数据正在如何改变数据库格局、常用的pim类模型的优化方法有哪些、数据分析中有哪些常见的数据模型等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！