有人教我数据库原理与应用吗

数据库原理与应用教程（全套）内容简介：

数据库技术是计算机学科的一个重要分支，它反映了数据管理的最新技术。第一视频教程分享的这部数据库原理与应用教程内容丰富，结构清晰。它给大家全面讲述了数据库系统的基本概念、基本原理和应用技术，主要内容包括数据库技术概述、关系数据库、关系数据库的标准语言SQL、关系数据库设计、数据库保护、网络数据库等。

数据库技术从诞生到现在，在不到半个世纪的时间里，形成了坚实的理论基础、成熟的商业产品和广泛的应用领域，吸引越来越多的研究者加入。数据库的诞生和发展给计算机信息管理带来了一场巨大的革命。三十多年来，国内外已经开发建设了成千上万个数据库，它已成为企业、部门乃至个人日常工作、生产和生活的基础设施。同时，随着应用的扩展与深入，数据库的数量和规模越来越大，数据库的研究领域也已经大大地拓广和深化了。30年间数据库领域获得了三次计算机图灵奖(CW Bachman,EFCodd, JGray)，更加充分地说明了数据库是一个充满活力和创新精神的领域。就让我们沿着历史的轨迹，追溯一下数据库的发展历程。

传统上，为了确保企业持续扩大的IT系统稳定运行，一般用户信息中心往往不仅要不断更新更大容量的IT运维软硬件设备，极大浪费企业资源;更要长期维持一支由数据库维护、服务器维护、机房值班等各种维护人员组成的运维大军，维护成本也随之节节高升。为此，企业IT决策者开始思考：能不能像拧水龙头一样按需调节的使用IT运维服务而不是不断增加已经价格不菲的运维成本。

随着信息技术和市场的发展，人们发现关系型数据库系统虽然技术很成熟，但其局限性也是显而易见的：它能很好地处理所谓的“表格型数据”，却对技术界出现的越来越多的复杂类型的数据无能为力。九十年代以后，技术界一直在研究和寻求新型数据库系统。但在什么是新型数据库系统的发展方向的问题上，产业界一度是相当困惑的。受当时技术风潮的影响，在相当一段时间内，人们把大量的精力花在研究“面向对象的数据库系统(object oriented database)”或简称“OO数据库系统”。值得一提的是，美国Stonebraker教授提出的面向对象的关系型数据库理论曾一度受到产业界的青睐。而Stonebraker本人也在当时被Informix花大价钱聘为技术总负责人。

然而，数年的发展表明，面向对象的关系型数据库系统产品的市场发展的情况并不理想。理论上的完美性并没有带来市场的热烈反应。其不成功的主要原因在于，这种数据库产品的主要设计思想是企图用新型数据库系统来取代现有的数据库系统。这对许多已经运用数据库系统多年并积累了大量工作数据的客户，尤其是大客户来说，是无法承受新旧数据间的转换而带来的巨大工作量及巨额开支的。另外，面向对象的关系型数据库系统使查询语言变得极其复杂，从而使得无论是数据库的开发商家还是应用客户都视其复杂的应用技术为畏途。

问题一：手机android服务框架是什么意思 应该是谷歌服务框架（Google Services Framework）。

拥有这个框架，加上谷歌服务，配合谷歌应用商店（Google Play），就可以下载不那么流氓的安卓应用了。

有些发布在谷歌应用商店的应用会需要谷歌服务或框架才能正常运行。

问题二：Android 手机应用开发一般采用什么框架 android应用开发框架是 Application Framework 其系统架构由5部分组成，分别是：Linux

Kernel、Android Runtime、Libraries、Application

Framework、Applications。第二部分将详细介绍这5个部分。下面自底向上分析各层。

Android架构

1、Linux Kernel

Android

基于Linux 26提供核心系统服务，例如：安全、内存管理、进程管理、网络堆栈、驱动模型。Linux

Kernel也作为硬件和软件之间的抽象层，它隐藏具体硬件细节而为上层提供统一的服务。

如果你学过计算机网络知道OSI/RM，就会知道分层的好处就是使用下层提供的服务而为上层提供统一的服务，屏蔽本层及以下层的差异，当本层及以下层发生

了变化不会影响到上层。也就是说各层各尽其职，各层提供固定的SAP（Service Access Point），专业点可以说是高内聚、低耦合。

如果你只是做应用开发，就不需要深入了解Linux Kernel层。

2、Android Runtime

Android

包含一个核心库的 ，提供大部分在Java编程语言核心类库中可用的功能。每一个Android应用程序是Dalvik虚拟机中的实例，运行在他们自己

的进程中。Dalvik虚拟机设计成，在一个设备可以高效地运行多个虚拟机。Dalvik虚拟机可执行文件格式是dex，dex格式是专为Dalvik

设计的一种压缩格式，适合内存和处理器速度有限的系统。

大多数虚拟机包括JVM都是基于栈的，而Dalvik虚拟机则是基于寄存器的。两种架构各有优劣，一般而言，基于栈的机器需要更多指令，而基于寄存器的机

器指令更大。dx 是一套工具，可以将 Java class 转换成 dex

格式。一个dex文件通常会有多个class。由于dex有时必须进行最佳化，会使文件大小增加1-4倍，以ODEX结尾。

Dalvik虚拟机依赖于Linux 内核提供基本功能，如线程和底层内存管理。

3、Libraries

Android

包含一个C/C++库的 ，供Android系统的各个组件使用。这些功能通过Android的应用程序框架（application

framework）暴露给开发者。下面列出一些核心库： 系统C库--标准C系统库（libc）的BSD衍生，调整为基于嵌入式Linux设备

媒体库--基于PacketVideo的OpenCORE。这些库支持播放和录制许多流行的音频和视频格式，以及静态图像文件，包括MPEG4、

H264、 MP3、 AAC、 AMR、JPG、 PNG 界面管理--管理访问显示子系统和无缝组合多个应用程序的二维和三维图形层

LibWebCore--新式的Web浏览器引擎,驱动Android 浏览器和内嵌的web视图 SGL--基本的2D图形引擎

3D库--基于OpenGL ES 10 APIs的实现。库使用硬件3D加速或包含高度优化的3D软件光栅 FreeType

--位图和矢量字体渲染 SQLite --所有应用程序都可以使用的强大而轻量级的关系数据库引擎

4、Application Framework

通

过提供开放的开发平台，Android使开发者能够编制极其丰富和新颖的应用程序。开发者可以自由地利用设备硬件优势、访问位置信息、运行后台服务、设置

闹钟、向状态栏添加通知等等，很多很多。 开发者可以完全>>

问题三：手机xposed框架到底有啥用了？ xposed框架是在安卓系统下对手机进行美化的软件框架，对于不想刷机或者不会的小白来说有用，如果你是高手或者对自己系统的美化程度满意的话，xposed框架能提供的不多。

问题四：什么是手机的服务框架 霸王条款

问题五：android 五大应用开发框架是什么 android应用开发框架是 Application Framework 其系统架构由5部分组成，分别是：Linux Kernel、Android Runtime、Libraries、Application Framework、Applications。第二部分将详细介绍这5个部分。下面自底向上分析各层。

Android架构

1、Linux Kernel

Android基于Linux 26提供核心系统服务，例如：安全、内存管理、进程管理、网络堆栈、驱动模型。Linux Kernel也作为硬件和软件之间的抽象层，它隐藏具体硬件细节而为上层提供统一的服务。 如果你学过计算机网络知道OSI/RM，就会知道分层的好处就是使用下层提供的服务而为上层提供统一的服务，屏蔽本层及以下层的差异，当本层及以下层发生了变化不会影响到上层。也就是说各层各尽其职，各层提供固定的SAP（Service Access Point），专业点可以说是高内聚、低耦合。 如果你只是做应用开发，就不需要深入了解Linux Kernel层。

2、Android Runtime

Android包含一个核心库的 ，提供大部分在Java编程语言核心类库中可用的功能。每一个Android应用程序是Dalvik虚拟机中的实例，运行在他们自己的进程中。Dalvik虚拟机设计成，在一个设备可以高效地运行多个虚拟机。Dalvik虚拟机可执行文件格式是dex，dex格式是专为Dalvik设计的一种压缩格式，适合内存和处理器速度有限的系统。 大多数虚拟机包括JVM都是基于栈的，而Dalvik虚拟机则是基于寄存器的。两种架构各有优劣，一般而言，基于栈的机器需要更多指令，而基于寄存器的机器指令更大。dx 是一套工具，可以将 Java class 转换成 dex 格式。一个dex文件通常会有多个class。由于dex有时必须进行最佳化，会使文件大小增加1-4倍，以ODEX结尾。 Dalvik虚拟机依赖于Linux 内核提供基本功能，如线程和底层内存管理。

3、Libraries

Android包含一个C/C++库的 ，供Android系统的各个组件使用。这些功能通过Android的应用程序框架（application framework）暴露给开发者。下面列出一些核心库： 系统C库--标准C系统库（libc）的BSD衍生，调整为基于嵌入式Linux设备 媒体库--基于PacketVideo的OpenCORE。这些库支持播放和录制许多流行的音频和视频格式，以及静态图像文件，包括MPEG4、 H264、 MP3、 AAC、 AMR、JPG、 PNG 界面管理--管理访问显示子系统和无缝组合多个应用程序的二维和三维图形层 LibWebCore--新式的Web浏览器引擎,驱动Android 浏览器和内嵌的web视图 SGL--基本的2D图形引擎 3D库--基于OpenGL ES 10 APIs的实现。库使用硬件3D加速或包含高度优化的3D软件光栅 FreeType --位图和矢量字体渲染 SQLite --所有应用程序都可以使用的强大而轻量级的关系数据库引擎

4、Application Framework

通过提供开放的开发平台，Android使开发者能够编制极其丰富和新颖的应用程序。开发者可以自由地利用设备硬件优势、访问位置信息、运行后台服务、设置闹钟、向状态栏添加通知等等，很多很多。 开发者可以完全使用核心应用程序所使用的框架APIs。应用程序的体系结构旨>>

问题六：手机构架是什么意思？ 手机的架构就是手机的结构组成。

目前英国ARM架构占据手机处理器90%的市场份额。

1、德州仪器优点：低频高能且耗电量较少，高端智能机必备CPU缺点：价格不菲，对应的手机价户也很高。

2、INTEL优点：CPU主频高，速度快缺点：耗电、每频率性能较低。

3、高通优点：主频高，性能表现出色，功能定位明确缺点：对功能切换处理能力一般。

4、三星优点：耗电量低、价格便宜缺点：性能低。

5、Marvell优点：很好继承和发挥了PXA的性能缺点：功耗大。

问题七：手机html5前端开发用什么框架 jquery mobile和bootstrap都是较好的框架。为了使用便利，下文列举了目前最强大应用最广泛的几款前端开发框架。

1 Bootstrap

Boostrap绝对是目前最流行用得最广泛的一款框架。它是一套优美，直观并且给力的web设计工具包，可以用来开发跨浏览器兼容并且美观大气的页面。它提供了很多流行的样式简洁的UI组件，栅格系统以及一些常用的JavaScript插件。

2 Fbootstrapp

Fbootstrapp基于Bootstrap并且提供了跟Facebook iframe apps和设计相同的功能。包含用于所有标准组件的基本的CSS和HTML，包括排版、表单、按钮、表格、栅格、导航等等，风格与Facebook类似。

3 BootMetro

BootMetro框架的灵感来自于Metro UI CSS，基于Bootstrap 框架构建，用于创建Windows 8 的Metro风格的网站。它包括所有Bootstrap的功能，并添加了几个额外的功能，比如页面平铺，应用程序栏等等。

4 Kickstrap

Kickstrap是Bootstrap的一个变体。它基于Bootstrap，并在它的基础上添加了许多app，主题以及附加功能。这使得这个框架可以单独地用于构建网站，而不需要额外安装什么。你需要做的仅仅是把它放到你的网站上，然后用就可以了。

5 Foundation

Foundation 是一款强大的，功能丰富的并且支持响应式布局的前端开发框架，你可以通过Foundation快速创建原型，利用它所包含的大量布局框架，元素以及最优范例快速创建在各种设备上可以正常运行的网站以及app。Foundation在构建的时候秉承移动优先的策略，它拥有大量实用的语义化功能，并且使用Zepto类库来取代jQuery，这样可以带来更好的用户体验，并且提高运行的速度。

6 GroundworkCSS

GroundworkCSS 是前端框架家族里面新添的一款小清新框架。它是基于Sass和pass的一个高级响应式的HTML5，CSS以及JavaScript工具包，可以用于快速创建原型并且建立在各种浏览设备上可以正常工作的网站和app。

7 Gumby

Gumby 是一款基于Sass和pass的简单灵活并且稳定的前端开发框架。

它的流式-固定布局（fluid-fixed layout）可以根据桌面端以及移动设备的分辨率自动优化要呈现的网页内容。它支持多种网格布局，包括多列混杂的嵌套模式。Gumby提供两套PSD的模板，方便你在12列和16列的网格系统上进行设计。

8 HTML KickStart

HTML Kickstart 是一款可以用来方便创建任何布局的 HTML5，CSS和jQuery的工具包。它提供了干净，符合标准以及跨浏览器兼容的代码。

9 IVORY

IVORY 是一款轻量，简单但是强大的前端框架，可以用于320到1200像素宽度的响应式布局。它基于12列的响应式网格布局，包含表格，按钮，表格，分页，拨动开关，工具提示，手风琴，选项卡等网站中常用的组件和样式。

10Kube

最后，如果你的新项目需要一款实在的，不需要复杂的额外功能组件的，足够简单的框架，那么 Kube 将会是你正确的选择。Kube是一款最小化的，支持响应式的前端框架，它没有强加的样式设计，因此给了你充分的自由来开发自己的样式表。它提供了一些web元素的基本样式，比如网格，表单，排版，表格，按钮，导航，链接>>

问题八：手机XP框架是干什么用的？求教 如果你现在已经在用xp框架，并用重力工具箱修改和美化状态栏，等等的修改美化，恰巧手机出现问题了，你不用怀疑是xp框架的问题，比如手机反应慢和卡，电池充不进去电，华为桌面和系统用户界面停止运行，或者其他软件出现停止运行的频率越来越频繁，我想应该是xp框架的问题，我用xp问题一大堆，我用过不是适配华为的xp框架，也用过适配华为的xp框架，其结果都有问题，而卸载之后，手机正常运行，没有问题了。

下面是需要的模块

求采纳

问题九：2015 用什么框架开发手机网站 随着使用智能手机的人越来越多，手机网站开发项目也成为一种潮流。可是您知道机网站开发框架有几种吗

1 LungoJS

这个是被认为开发移动网站最好的HTML5开发框架，使用 HTML5/CSS3 和 JavaScript 技术。可帮助创建基于 iOS、 Android、 Blackberry 和 WebOS 平台的应用程序。该框架可利用当前移动设备的高级特性，可捕捉事件包括滑动、触屏、长按等。无需使用，全部采用向量声称。

LungoJS 无需服务器端支持，可帮助实现 HTML5 特性，包括 WebSQL、Geolocation、 History、 Device orientation 等等。这是一个完全可定制的框架，可用来创建应用、游戏等程序。

2Kendo UI

Kendo UI是一个HTML5平台，开发者利用它可以开发新颖的、交互的移动应用程序和网站。该框架提供了大量的动画和丰富的拖拽功能、模板功能以及提供了将近10款客户端常用的数据绑定小部件，如图表、组合框以及常用表格。

3Jo

该框架可以创建像本地一样的应用，并且兼容任何 *** 作系统，无论是Blackberry、iOS还是Android。并且提供许多HTML5小部件。使用它可以解决任何动画设计方面的问题。

4Sencha Touch

Sencha Touch是第一个基于HTML5的移动应用框架，利用JavaScript、HTML5和CSS3来构建移动应用程序，该框架利用本地代理存储离线数据，具体使用HTML5来渲染视频和音频组件。

可以让你的Web App看起来就像本地应用程序一样。美丽的用户界面组件和丰富的数据管理，全部基于最新的HTML5和CSS3的Web标准，全面兼容Android和Apple iOS设备。

552 Framework

52 Framework拥有16列的网格模板。该框架来自于CSS3样式里的新“Selection”、阴影、圆角以及有效的HTML5标记。该框架还提供了一些特殊的脚本和样式用于IE6。

6LimeJS

LimeJS 是一个 JavaScript 游戏开发框架，用于快速构建运行于触屏设备和桌面浏览器的游戏。允许开发者创建基于 HTML5 的游戏，支持主流浏览器包括iOS。

7 G5 Framework

如果你想要快速实现Web开发，并且想要重用ant主题或应用程序或网站项目，那么G5 框架是您最好的选择，因为该框架旨在提升开发效率、减少代码。该框架采用特色的PHP激活类、SEO优化技术。除了G5自身所带的这些功能特性外，它还集成其他许多功能，例如Orbit Slider、CSS3 PIE、Reveal Modals、CSS3 Buttons和Tipsy Tooltips等。

8jQuery Mobile

jQuery Mobile(jQueryMobile)是 jQuery在手机上和平板设备上的版本。jQuery Mobile 不仅会给主流移动平台带来jQuery核心库，而且会发布一个完整统一的jQuery移动UI框架。支持全球主流的移动平台。jQuery Mobile开发团队说：能开发这个项目，我们非常兴奋。移动Web太需要一个跨浏览器的框架，让开发人员开发出真正的移动Web网站。我们将尽全力去满足这样的需求。

9Phone Gap

PhoneGap是>>

开源应用正在改变当前的商业经营者和管理人员思考与支持软件的方式。 但如果缺乏适当的人才来完成这些工作，那么你或许还是只能选择可获取第三方支持的所有权软件。

如果你的公司拥有相应的技能，那么开源就可让你以最小的成本来获得最大的控制。

你或许已准备好使用托管于内部网络上的CRM系统，但你是否认识到了安装、支持、维护、排疑、培训用户需要付出哪些代价 市面上种种解决方案的功能与特性各有千秋，但其根本却是大同小异。 它们基本上都是由数据库服务器、网络服务器和应用服务器(如果该CRM系统是部分或全部由Java所编写)所组成。 在实施你所选择的解决方案时，它很大程度取决于建立并维护该系统所需要的技能。尽管在某些方面只需要中级或入门技能就可以应付，但某些组件却要求掌握高级技能才能提供支持。

用以支持这些服务的技能要求不再易如往昔。 随着开源软件和 *** 作系统的不断普及，IT技术人员和工程师也需要相应地拓展他们的技能结构。

支持人员的技能要求

支持人员在实施与维护开源解决方案过程中所需要的技能包括：

- 高级系统管理技能： 管理文件系统和权限;通过脚本或编译源代码来安装软件;管理用户和小组;管理内存和绩效。

- 数据库管理技能： 安装RDBMS(关系数据库管理系统)并保障其安全;建立数据库并进行调试。

- 网络服务支持技能： 需要掌握Apache软件的中、高级知识。

- PHP和Java技能： 需要掌握PHP脚本的中级知识;熟悉Java虚拟机结构。

- 各类组件知识： 需要掌握各类组件的知识;掌握安装软件和资源的高级知识。

如果文档齐全、培训充分，并且有第三方支持可对系统进行长期维护，那么初级系统管理员也可以成功地安装并支持CRM系统。

缺乏上述技能并不意味着在你的公司内无法实施开源CRM客户管理解决方案。 优秀的管理员很快就可以上手，但你或许要依靠第三方的支持，直到你的员工渐入佳境。 这样一来，就会抬高系统的启动和初期支持成本。 不过随着你员工技能的积累增加，第三方支持的成本则会相应降低。

相比培养内部人员，雇用外部人才具备更显著的优势。 聘请那些早已掌握开源应用知识的人才可以缩短新CRM系统上手的时间，并让用户尽快形成生产力。 需要注意的是，所聘人员的薪资是否能产生相应的价值(即提高员工生产力)。 内部培养的成本要比从外部聘用来得低，而且也容易调动起积极性。但较长的学习曲线和暂时低效的生产力或许会掩盖掉这些优势。

问题是： 你该去哪里寻找这些富有开源经验的人才呢 你是否也用寻找其它支持人员的方法来寻找他们呢 答案既是肯定的，也是否定的。你可以通过传统的方法来找到优秀的人选，比如通过猎头公司、报纸广告、招聘网站和你企业网站上的求职栏。 但就算能够找到适合的人选，这些流程也耗时颇菲。 那些大量参与开源项目的人才的思维模式通常不拘一格，并且往往会颠覆传统。因此你需要采取相同的方式来找到最适当的人才。

第一个可供寻找CRM系统专业人才的渠道就是你的CRM供应商。 其次，你也可以通过SIG(特殊兴趣小组)来觅得人选，SIG是一个可以交换想法并讨论相关技术或应用课题的小组。 你可以通过网络查询，或咨询当地报刊来查找会议时间和地点。 如果你无暇亲自参加这些会议，你可以联络小组负责人，并要求他在下一次会议上宣布。 最后一个渠道是开源网站。许多开源网站都带有面向企业和求职者的免费栏目。 那些寻找开源工作的应聘者通常会浏览这些网站。广州CRM供应商-华尔太科技有限公司,是一家专业从事CRM软件的独立软件开发商,提供开源CRM产品

作者 石默研

本文对新一代NewSQL分布式数据库发展策略中的普遍困扰进行讨论，包括云原生（Cloud Native）与本地部署(On Premise)、HTAP进展方向、分布式与单机需求等分布式数据库商业与技术发展中难以决策的问题。

1 困扰

分布式NewSQL数据库近年来蓬勃兴起，其原因显而易见：切中了业务与数据量不断增长的用户对关系型数据库RDBMS需求，这在传统RDBMS到大数据的发展阶段中，有相当一段时间是空白。同时，随着互联网技术的不断发展与普及，用云计算模式满足IT需求似乎已经成为未来 社会 产业互联网发展的明确趋势，也就是说，有一种共识：不久的将来，绝大多数产业的IT服务是从公共的、行业的或者私有的、混合的云计算中心提供的。这一共识又带来了云原生（Cloud Native）概念与技术的兴起，而分布式NewSQL数据库自然也应该是云原生的，这决定了其相当多的产品设计决策应以符合这一趋势为原则。然而，在当今的现实中，满足业务与数据量不断增长的RDBMS需求的用户，与云原生的用户，除了互联网企业外，大多数情况下，并不重合，需要On-Premise部署的用户仍然占有很大比重，这就带来了第一个困扰：云原生（Cloud Native）与本地部署(On Premise)对产品发展要求的矛盾。

另一个困扰，是关于HTAP，即交易与分析混合负载。HTAP是当今非常火的一个概念与技术，在交易库上直接进行分析，而不再是将“数据从交易库搬下来，挪到另一个数据库中去”这样的繁琐过程。可以毫不夸张的说： 历史 上规模性企业IT复杂度的相当一部分，都来自于“搬数据”，这导致了数据采集、实时采集、全增量合并、数据传输、数据加载、数据建模、数据质量、数据标准、企业级元数据管理等繁杂多样的技术环节的产生，导致了企业数据分布、数据流向、数据模型、主数据、基础数据平台、ODS/数据仓库/数据集市、数据治理等复杂的数据架构设计优化领域，导致了由于多系统大规模数据搬迁而带来的如数据交换平台之类的复杂调度工程。咋眼一看，感觉该企业的数据技术好厉害，相关各领域的技术产品好丰富，技术人员的相关技能也好受欢迎。但如果在交易库就能直接满足分析需求而不影响生产效能的话，这些复杂高级的技术环节不都成了“自己给自己造了一座山，还说自己爬的好辛苦”？然而，现实却是，问题并不这么简单，除了在交易库中进行分析会影响业务效能外，还有很多原因导致这一现象产生：交易库并不需要存储那么长的 历史 数据，而分析往往是需要建立在大量 历史 数据之上的；交易库的模型往往并不适合分析需求，多数情况下需要重要建模，如非常流行且价值不菲的各行业数仓主题模型；用于交易的OLTP数据库与用于分析的OLAP数据库，其技术体系完全不同；以及大型企业已固化的内部业务结构并没有留给交易/分析整合可实施的可行空间等等。由于， 历史 积累的企业级数据体系相当复杂，HTAP的发明者迄今为止都没有系统表达完全替代数据分析需求、自顶而下重构企业数据体系的架构级策略，而是将产品重点定位在技术优化层面：在交易库上直接完成实时统计分析，满足高并发需求且不影响业务效能；或者是为实时分析统计/查询而建设的数据服务中间平台。然而，即使是暂时没有这种策略性的意向，在面向AP的产品具体研发中，又会发现明确的界限确实不好把握，随着一个个具体功能的不断完善，似乎假以时日，技术上也不是没有完全替代纯OLAP平台的可能性。那么，HTAP究竟如何定位呢？

再者就是规模化的分布式需求，与小规模的单机数据库需求（这里指逻辑上的单机）之间的矛盾：分布式数据库，自然而然是要应对规模化的数据管理需求的，长尾的小规模需求当然不应在产品设计考虑之列，同时，大炮轰苍蝇经常还打不好；然而，分布式NewSQL数据库又应该是云原生的，如果把云原生的业务含义理解为“全自助”，它应该以支持什么样的需求为主呢？现实看来，小规模长尾业务对云原生数据库的需求最起码应该是占据相当大的比重的。显而易见，如果是大规模的数据管理需求，即使是部署在云上，DBPaaS的“全自助”是其核心需求吗？这种规模化的业务，如果是云上的On-Premise又需要做出哪些方面的改变？从互联网与云计算发展的 历史 来看，“云自助”，其最核心的商业动机当然包括给用户侧的运维带来了方便，但更重要的可能是给云服务运营商应对海量长尾客户的安装与运维带来了极大的成本优势。这正如银行的小微及个人消费贷款都要走互联网线上模式，而重客、大客甚至中小企业信贷仍然是以线下为主的策略一样，本质是成本问题，而不是客户方便性问题。于是，矛盾显而易见：分布式是面向规模客户的，起码是中、大型客户，而云原生却有可能、最起码相当一段时间内是要以长尾客户为主要服务对象的。

以上困扰实质上，都涉及到了NewSQL分布式数据库的产品发展策略问题。

2 讨论

问题是客观而又普遍的，但分析与应对策略往往包含主观因素：人们的一个决定与决策，很多情况下并不由严格推理而来，而是心中已经有一个答案，再来找理由支持它。这里的讨论或许也并不能例外。

首先，来看看Cloud Native与On Premise。云原生本应是数据库即服务，然而目前真正有规模化数据增长需求的NewSQL应用相当多的情况下却是付费On Premise与免费On Premise区别，很多互联网企业的应用也可能只是部署在云基础设施上而已，真正的云原生更多是一些实验性、尝试性的需求。但云原生数据库在公有云、行业云以及大型私有云上已经逐渐在形成一种意识上的共识，其商业前景不可限量。也就是说，未来的数字化转型进程中，产业互联网的数据库部署，会逐渐向云基础设施迁移，长在云上。它可能是公有云，也可能是行业云，也可能是私有云，它们都是被定义为云原生NewSQL数据库的市场范围。当然，肯定还会有相当一部分数据库长在云下，这也不用纠结，将其排除在云原生市场战略目标之外即可，就是说，不需要考虑这部分客户需求对产品规划的影响，因为前一部分的份额已经足够大了。这样看来，以云原生为目标进行产品规划的逻辑没有问题，不过，还是要明确一点：长在云上的数据库是不是一定符合我们对“云原生”的既有理解？这里认为，即使未来，在云上形成了产业互联网数据库市场的主体，需要“全自助”的数据库即服务可能也是以面向长尾客户最为迫切、必不可少并且是核心本质，而对中大型以上的需求，“全自助”的意义相对有限，同时比较而言商业模式的转变或者更关键些。那么，如果是以“长在云上”为市场目标，似乎可以将其定义为“广义的云原生”，同时，只要是“长在云上”，那么“云原生”概念中高d性、高可用、低成本、快速迭代、存算分离等技术优势也都能方便获得。而对“云原生”策略中“云原生”一词的理解不同，对产品规划决策的影响也应该有所不同：一是目前被认为是On Premise的客户需求，或许也就是未来“云原生”主体市场的需求；二是NewSQL数据库关于云原生服务的产品策划，对用户侧“自助”水平的决策或许可以更灵活实用。高水平自助确实可以减轻客户对IT的依赖程度，但这里认为，云原生与用户自行在云上购买资源进行On-Premise部署相比，最关键的价值在于商业模式的改变，能自助多少，不一定是最重要的，因为成为云服务商后，运营运维的工作只会更多，责任可能会更大，甚至有时连IaaS的运维也需要PaaS服务商兜底。但从一个个客户的本地服务，变成集中化云服务，就已经是本质性的模式转变了。总之，需要就事论事，回到原点，仔细分析后决策，而不是用概念教条的判断，因为概念本身的定义并不见得准确对应实际的业务需求。

再来看看HTAP，对这个问题，正如在其它文章中表达过的一样，本文的观点较为明确。一是随着计算能力与架构的升级，从技术上讲，AP与TP的界限会越来越模糊；另外特别是在云原生的新世界里，数据库的这一特性又犹为重要，因为云原生的重要作用之一就是要让客户尽量摆脱对IT运维的依赖，将越来越多的精力集中到自己的业务发展上来；同时端到端的能力提升对云原生商业模式的贯彻也至关重要（需要仔细分析下目前DBPaaS的技术要求是否完全符合这一原点的、本质性的动力），过去与纯OLAP数据库的优势比较纠结在这里也可以得到正面支持；再者，既然架构上已经走向了AP，就很难做到在产品规划上时刻厘清纯AP与混合负载的需求后，再将前者排除在外。于是，以“混合负载满足部分AP需求”应该是由于投入与阶段性市场策略导致的阶段性产品规划，而长远来讲，以一套技术架构满足大多数需求，应该是云原生NewSQL数据库的追求。

接下来，就是关于规模化分布式与小规模单机需求的矛盾了。现在看来，经过上面的讨论，这一点已经不是什么问题了：因为“长在云上”、从分散服务向集中服务的商业模式转变就是指广义的云原生，而不一定要以小微的、迫切需要全自助的长尾为主流，那么，云原生NewSQL数据库仍然应以规模化分布式为其主体的需求方向，而小规模单机则暂时可以不做为重点来考虑。

最后指出一点，希望也能引发进一步的思考：我们所批判的主机，也声称自己是分布式架构，暂且不论其是否客观，但在现实中主机需要被替代的核心问题并不是有没有分布式，而是：一、扩展不灵活带来成本问题：“我只需要扩展一个节点，你却让我再买一台主机”；二、不自主可控；三、往往是软硬件结合的设计策略，包括内存、网络、存储与IO上的软硬融合设计，而这一点，是否需要云原生数据库从广义的定义出发进行学习参考，也是需要进一步讨论的。

一个是计算的核心，一个是存储的核心。

就好比是电脑和移动硬盘的关系一样。

一般数据库主机就是一台服务器，可以是x86架构的PC服务器，也可以是solaris或者aix那样的小型机。一般这种服务器都是配磁盘存储的，可能是几百GB的容量。

当数据库需要存储海量的数据，如上百TB级别的数据，服务器自带的磁盘容量就不够了，需要进行扩充。这样磁盘阵列就出场了。磁盘阵列可以将几块、几十块，乃至上百块磁盘组合起来，容量十分的巨大（价格也不菲），将所有的数据都存储在磁盘阵列中，通过光纤连接到数据库主机。提高了存储容量。

ORACLE与SQL SERVER的区别

体系结构

ORACLE的文件体系结构为：

数据文件 DBF （真实数据）

日志文件 RDO

控制文件 CTL

参数文件 ORA

SQL SERVER的文件体系结构为：

MDF （数据字典）

NDF （数据文件）

LDF （日志文件）

ORACLE存储结构：

在ORACLE里有两个块参数PCTFREE(填充因子)和PCTUSED(复用因子),可控制块确定块本身何时有，何时没有足够的空间接受新信息(对块的存储情况的分析机制)

这样可降低数据行连接与行迁移的可能性。块的大小可设置(OLTP块和DSS块)

在ORACLE中，将连续的块组成区，可动态分配区(区的分配可以是等额的也可以是自增长的)可减少空间分配次数

在ORACLEl里表可以分为多个段，段由多个区组成，每个段可指定分配在哪个表空间里(段的类型分为：数据段、索引段、回滚段、临时段、CASH段。ORACLE里还可对表进行分区，可按照用户定义的业务规则、条件或规范，物理的分开磁盘上的数据。

这样大大降低了磁盘争用的可能性。

ORACLE有七个基本表空间：

SYSTEM表空间(存放数据字典和数据管理自身所需的信息)

RBS回滚表空间

TEMP临时表空间

TOOLS交互式表空间

USERS用户默认表空间

INDX索引表空间

DBSYS福数据表空间

不同的数据分别放在不同的表空间(数据字典与真实数据分开存放),在ORACLE里基表(存储系统参数信息)是加密存储，任何人都无法访问。只能通过用户可视视图查看。

SQL SERVER 存储结构

以页为最小分配单位，每个页为8K(不可控制，缺乏对页的存储情况的分析机制),

可将8个连续的页的组成一个‘扩展’，以进一步减少分配时所耗用的资源。(分配缺乏灵活性)，在SQL SERVER里数据以表的方式存放，而表是存放在数据库里。

SQL SERVER有五个基本数据库：

master(数据字典)

mode(存放样版)

tempdb(临时数据库)

msdb(存放调度信息和日志信息)

pubs(示例数据库)

真实数据与数据字典存放在一起。对系统参数信息无安全机制。

ORACLE登入管理：

SYSTEM/MANAGER (初始帐户)

SYS/CHANGE_ON_NSTALL

INSTALL/ORACLE(安装帐户)

SCOTT/TIGER(示例数据库,测试用)

在ORACLE里默认只有三个系统用户，ORACLE是通过用户登入。

SQL SERVER登入管理：

SQL SERVER身份验证

WINDOWS 身份验证

在SQL SERVER里是通过WINDOWS用户帐户或是用SQL SERVER身份验证连接数据库的。

SQL不是一种语言，而是对ORACLE数据库传输指令的一种方式。

SQL中NULL既不是字符也不是数字，它是缺省数据。ORACLE提供了NVL函数来解决。

ORACLE中的字符串连接为 string1‖string2 ，SQL中为string1+string2

集合 *** 作：在SQL中只有UNION（并 *** 作），ORACLE中包含MINUS（差 *** 作）、

INTERECT（交 *** 作）、UNION（并 *** 作）。

索引：SQL的索引分为聚集索引和非聚集索引，还包括全文索引；

ORACLE的索引包括：B+树索引，Bitmap位图索引，函数索引，反序索引，

主键索引，散列索引，本地索引。

ORACLE的数据类型比较复杂，有基本数据类型，衍生型，列对象型，表对象型，结构体型；SQL中的数据比较简单，只有一些简单的基本数据类型无法提供事务 *** 作。

在SQL中如果一个事务从开始执行到结束时了错了，它就会回滚到开始之前；

在ORACLE中它采用的是定点回滚，就是该事务函数化和精确错误定位，用savepoint标记保存点，用Rollback标记回滚错误的保存点。

在SQL中循环只有WHILE一种这用起来不灵活，在ORACLE中有多种循环（LOOP循环、WHILE循环、FOR循环）。

在SQL中游标的使用比较复杂，不能同时打开一个以上的游标，因为它只有一个全局变量@@Fast_statues而且声明游标也麻烦，关闭游标时也不清除内存的；ORACLE中游标是以提高速度全部统一的单项游标，可以允许多用户异步读取，而且声明比较简单，就一句declare cursor游标名 is select 语句就可以了。

容错机制：SQL中的错误机制比较复杂，没有提供错误描述；ORACLE中容错类型有三种，一个是预定义错误，一个是非预定义错误，一个是用户自定义，其中在自定义错误中它有两个是在SQL中不有的，那就是SQLCODE 错误号、SQLERRM错误描述。

文件体系结构：SQL中有MDF(主要数据文件)、NDF（扩展文件，可以有多个）、

LDF（日志文件，可以有多个，存放在联机重做日志数据，这里的日志文件有一个缺点就是如果日志文件已填小巧玲珑的话，SQL将自动停止运行并等待人工干预，所以要经常监控日志的情况保证系统的稳定运行）。ORACLE中有DBF(主要数据文件)、RDO（日志文件，用来做灾难性的数据备份）、CTL（控制文件，将数据库的物理文件映射到了数据字典中的逻辑表空间和连机重做日志文件上去，确保数据的一致性）、ORA（参数文件）。

SQL只能是本机备份本机的数据库，无法联机备份，而且备份压缩很低，占用了大量空间；ORACLE提供了7种备份机制，具有联机备份功能，有志门的备份机子。

Oracle的日志默认有3个，先写入1号日志，满了后再写入2号日志，2号满了再写入3号日志，3号满了后Oracle将自动备分1号日志的内容，然后清空后写入新的日志信息，且Oracle的日志有多路复用功能，我们可以为日志创建多个镜像，把相同的日志信息同时写入多个日志文件中，这样可以防止磁盘损坏造成的数据丢失。

SQL Server对每个数据库只能分配一个日志文件。且当日志填满后，日志将停止工作，等待人工干预，而无法自动重用。

Oracle的控制文件记录了数据库文件的物理位置和有效性，在每次打开Oracle系统都将自动对数据进行验证，查看其有效性，防止数据的丢失，这体现了Oracle对数据管理的严密性。

SQL Server无此安全机制，只用在使用到了数据库的信息后，系统才去查找数据是否存在。

Oracle的参数文件initora是可调的，既我们可以根据数据库的规模调整Oracle对系统资源的使用情况，以达到最合理的资源分配，让Oracle达到最佳的性能。

SQL Server的配置参数是内定的不可调整，它对系统资源的分配是固定的，不受拥护控制，因此无法同时处理大量用户的需求，这限制了它只能作为中，小型数据库。

Oracle以块为最小存储单位，以区为单位分配空间，用户可以根据需要自己定义块的大小，且区可以按等额或递增进行分配，这可以大大减少系统的I/O *** 作提高数据库的性能。

SQL Server中以页为单位或使用扩展类型以8页为一单位进行空间分配而无法人工干预，当遇到频繁存储或大数据量存储时，系统将频繁进行I/O *** 作使工作效率低下。

Oracle中的SQL语句书写规范且提供了完整的函数和数据类型。Oracle提供了健全的错误机制，用户可以轻松的获得错误位置和错误原因而加以修改。用户还可以自己定义所须的错误类型，用以检查逻辑错误。Oracle中对数据类型的转换和游标的定义也十分方便。因此，我们对代码的书写和维护也比SQL Server方便许多。

SQL Server使用类C语言，不易维护和查看代码。SQL Server包含的数据类型太少，无法定义结构体，数组，对象。SQL Server无法定义流程机制，类型转换也极不方便，SQL Server中对游标定义十分复杂，且当用户定义的多个游标同时打开时系统却只有一个游标变量，这是SQL SERVER中一个严重的缺陷。

ORACLE中用户可以根据数据需要在创建块时定义填充因子(空闲空间的百分比)和复用因子(当块的存储数据所占的空间下降到这个百分比之下时，块才重新标记为可用)。用户可以根据记录变化频率和数据量的大小设置合适的填充因子和空闲因子。

SQL SERVER只有填充因子，而它的定义与ORACLE刚好相反，它定义的是剩余可用空间的百分比。而SQL SERVER中没有复用因子，当页中数据低于填充因子，但剩余的空间已经不可能再插入新的数据，但页还是标记为可用的，当系统要写入新数据都要访问这个页而浪费时间，这种页称为废页，将使系统插入新数据时浪费大量时间查找可用的页。

ORACLE在创建表时用户可以精确定义数据存放的表空间，甚至可以把一张表分开存放在多个表空间中，这样可以将数据量庞大的表按某些字段分开存放，这将给查询带来极高的效率。

世界上著名的ERP软件开发公司有哪些

国内比较知名的 ERP 软件公司有哪些推荐

ERP是Enterprise Resource Planning（企业资源计划）的简称，ERP是针对物资资源管理（物流）、人力资源管理（人流）、财务资源管理（资金流）、信息资源管理（信息流）集成一体化的企业管理软件,ERP管理的对象是企业整体的业务，包括销售、采购、生产、财务、质量等业务，还包括这些业务之间的串联。

北京华盛恒辉软件开发公司（北京）

北京五木恒润软件开发公司（北京）

东软集团 Neusoft（沈阳）

博彦科技 BeyondSoft（北京）

海辉软件 HiSoft（大连）

文思 VanceInfo（北京）

浙大网新 Insigma （杭州）

ERP软件按不同标准可以划分为不同类别：1、按应用行业：分为制造业ERP、流通业ERP、电力行业ERP、能源业ERP、金融业ERP、建筑业ERP、媒体业ERP等；2、按应用企业规模：分为大型企业ERP、中型企业ERP和小型企业ERP；3、按产品应用范围：分为专用型ERP、通用型ERP以及行业型ERP。

通过以上的定义可以看出因为企业有分类，国内的ERP研发厂家暂时还没发现可以通用的ERP系统。

第一类：财务领先的ERP：以用友和金蝶最有代表性，这两大巨头财务起家，占领了中国财务软件的绝大部分，其ERP围绕财务和进销存展开，针对制造业的解决方案相对较弱。大概是因为用户量太大，面面俱到也不太可能，如果偏重制造业的哪一个方向都会被贴上标签，反而得不偿失，所以干脆做一个不偏不倚的进销存财务加一点制造业的影子就当做通用ERP了。

第二类：商贸流通类ERP：主要是由之前做小型进销存起家的公司占大多数，比如任我行、速达、金算盘为代表，价格便宜、代理商众多，已经占领了小商品批发市场的门店级别了，这个量级不可小看；

第三类：专门针对制造业做的解决方案：主要以鼎捷T100、正航T9及NBS、西华升腾STIMS40为代表，这三家企业在制造业深耕多年，鼎捷和正航属台湾血统，西华升腾STIMS40融入制造执行、质量管控和项目管理等元素，应该归入制造业解决方案类型；

第四类：国资军工垄断ERP：典型代表就是浪潮了，一网打尽航空、航天、军工等所有关键行业；

第五类：行业解决方案：中国工商业体系完整，行业众多，有很多优秀的行业解决方案独占某一领域，表现优异，比如房地产行业销售系统明源、建筑行业广联达等等都是行业代表；

什么是大数据

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

大数据的定义

大数据由巨型数据集组成，这些数据集大小常超出人类在可接受时间下的收集、庋用、管理和处理能力。大数据的大小经常改变，截至2012年，单一数据集的大小从数太字节（TB）至数十兆亿字节（PB）不等。

在一份2001年的研究与相关的演讲中，麦塔集团（META Group，现为高德纳）分析员道格·莱尼（Doug Laney）指出数据增长的挑战和机遇有三个方向：量（Volume，数据大小）、速（Velocity，数据输入输出的速度）与多变（Variety，多样性），合称“3V”或“3Vs”。高德纳与现在大部分大数据产业中的公司，都继续使用3V来描述大数据。高德纳于2012年修改对大数据的定义：“大数据是大量、高速、及/或多变的信息资产，它需要新型的处理方式去促成更强的决策能力、洞察力与最优化处理。”另外，有机构在3V之外定义第4个V：真实性（Veracity）为第四特点。

大数据必须借由计算机对数据进行统计、比对、解析方能得出客观结果。美国在2012年就开始着手大数据，奥巴马更在同年投入2亿美金在大数据的开发中，更强调大数据会是之后的未来石油。数据挖掘（data mining）则是在探讨用以解析大数据的方法。

大数据的特点

具体来说，大数据具有4个基本特征：

一是数据体量巨大。百度资料表明，其新首页导航每天需要提供的数据超过15PB（1PB=1024TB），这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前为止，人类生产的所有印刷材料的数据量仅为200PB。

二是数据类型多样。现在的数据类型不仅是文本形式，更多的是、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。

三是处理速度快。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。

四是价值密度低。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

大数据的作用

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。

大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。

对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

大数据的分析

众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？

1 可视化分析。大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2 数据挖掘算法。大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3 预测性分析。大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4 语义引擎。非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能足以从数据中主动地提取信息。

5数据质量和数据管理。大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

大数据的技术

数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

数据存取：关系数据库、NOSQL、SQL等。

基础架构：云存储、分布式文件存储等。

数据处理：自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，Natural Language Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。

统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。

数据挖掘：分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)

模型预测：预测模型、机器学习、建模仿真。

结果呈现：云计算、标签云、关系图等。

大数据的处理

1 大数据处理之一：采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和 *** 作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

2 大数据处理之二：导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

3 大数据处理之三：统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

4 大数据处理之四：挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。

大数据的常见误解

一、数据不等于信息

经常有人把数据和信息当作同义词来用。其实不然，数据指的是一个原始的数据点（无论是通过数字，文字，还是视频等等），信息则直接与内容挂钩，需要有资讯性（informative）。数据越多，不一定就能代表信息越多，更不能代表信息就会成比例增多。有两个简单的例子：

备份。很多人如今已经会定期的对自己的硬盘进行备份。这个没什么好多解释的，每次备份都会创造出一组新的数据，但信息并没有增多。

多个社交网站上的信息。我们当中的很多人在多个社交网站上活跃，随着我们上的社交网站越多，我们获得的数据就会成比例的增多，我们获得的信息虽然也会增多，但却不会成比例的增多。不单单因为我们会互相转发好友的微博（或者其他社交网站上的内容），更因为很多内容会十分类似，有些微博虽然具体文字不同，但表达的内容十分相似。

二、信息不等于智慧（Insight）

现在我们去除了数据中所有重复的部分，也整合了内容类似的数据，现在我们剩下的全是信息了，这对我们就一定有用吗？不一定，信息要能转化成智慧，至少要满足一下三个标准：

可破译性。这可能是个大数据时代特有的问题，越来越多的企业每天都会生产出大量的数据，却还没想好怎么用，因此，他们就将这些数据暂时非结构化（unstructured）的存储起来。这些非结构化的数据却不一定可破译。比如说，你记录了某客户在你网站上三次翻页的时间间隔：3秒，2秒，17秒，却忘记标注这三个时间到底代表了什么，这些数据是信息（非重复性），却不可破译，因此不可能成为智慧。

关联性。无关的信息，至多只是噪音。

新颖性。这里的新颖性很多时候无法仅仅根据我们手上的数据和信息进行判断。举个例子，某电子商务公司通过一组数据/信息，分析出了客户愿意为当天送货的产品多支付10块钱，然后又通过另一组完全独立的数据/信息得到了同样的内容，这样的情况下，后者就不具备新颖性。不幸的是，很多时候，我们只有在处理了大量的数据和信息以后，才能判断它们的新颖性。

大数据时代存储所面对的问题

随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的，就这个例子来说，我们很明显的看到大数据分析应用需求正在影响着数据存储基础设施的发展。

从另一方面看，这一变化对存储厂商和其他IT基础设施厂商未尝不是一个机会。随着结构化数据和非结构化数据量的持续增长，以及分析数据来源的多样化，此前存储系统的设计已经无法满足大数据应用的需要。存储厂商已经意识到这一点，他们开始修改基于块和文件的存储系统的架构设计以适应这些新的要求。在这里，我们会讨论哪些与大数据存储基础设施相关的属性，看看它们如何迎接大数据的挑战。

容量问题

这里所说的“大容量”通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。基于这样的需求，客户现在越来越青睐Scale-out架构的存储。Scale-out集群结构的特点是每个节点除了具有一定的存储容量之外，内部还具备数据处理能力以及互联设备，与传统存储系统的烟囱式架构完全不同，Scale-out架构可以实现无缝平滑的扩展，避免存储孤岛。

“大数据”应用除了数据规模巨大之外，还意味着拥有庞大的文件数量。因此如何管理文件系统层累积的元数据是一个难题，处理不当的话会影响到系统的扩展能力和性能，而传统的NAS系统就存在这一瓶颈。所幸的是，基于对象的存储架构就不存在这个问题，它可以在一个系统中管理十亿级别的文件数量，而且还不会像传统存储一样遭遇元数据管理的困扰。基于对象的存储系统还具有广域扩展能力，可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。

延迟问题

“大数据”应用还存在实时性的问题。特别是涉及到与网上交易或者金融类相关的应用。举个例子来说，网络成衣销售行业的在线广告推广服务需要实时的对客户的浏览记录进行分析，并准确的进行广告投放。这就要求存储系统在必须能够支持上述特性同时保持较高的响应速度，因为响应延迟的结果是系统会推送“过期”的广告内容给客户。这种场景下，Scale-out架构的存储系统就可以发挥出优势，因为它的每一个节点都具有处理和互联组件，在增加容量的同时处理能力也可以同步增长。而基于对象的存储系统则能够支持并发的数据流，从而进一步提高数据吞吐量。

有很多“大数据”应用环境需要较高的IOPS性能(IOPS (Input/Output Operations Per Second)，即每秒进行读写（I/O） *** 作的次数，多用于数据库等场合，衡量随机访问的性能)，比如HPC高性能计算。此外，服务器虚拟化的普及也导致了对高IOPS的需求，正如它改变了传统IT环境一样。为了迎接这些挑战，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质的可扩展存储系统等等都在蓬勃发展。

并发访问一旦企业认识到大数据分析应用的潜在价值，他们就会将更多的数据集纳入系统进行比较，同时让更多的人分享并使用这些数据。为了创造更多的商业价值，企业往往会综合分析那些来自不同平台下的多种数据对象。包括全局文件系统在内的存储基础设施就能够帮助用户解决数据访问的问题，全局文件系统允许多个主机上的多个用户并发访问文件数据，而这些数据则可能存储在多个地点的多种不同类型的存储设备上。

安全问题

某些特殊行业的应用，比如金融数据、医疗信息以及政府情报等都有自己的安全标准和保密性需求。虽然对于IT管理者来说这些并没有什么不同，而且都是必须遵从的，但是，大数据分析往往需要多类数据相互参考，而在过去并不会有这种数据混合访问的情况，因此大数据应用也催生出一些新的、需要考虑的安全性问题。

成本问题

“大”，也可能意味着代价不菲。而对于那些正在使用大数据环境的企业来说，成本控制是关键的问题。想控制成本，就意味着我们要让每一台设备都实现更高的“效率”，同时还要减少那些昂贵的部件。目前，像重复数据删除等技术已经进入到主存储市场，而且现在还可以处理更多的数据类型，这都可以为大数据存储应用带来更多的价值，提升存储效率。在数据量不断增长的环境中，通过减少后端存储的消耗，哪怕只是降低几个百分点，都能够获得明显的投资回报。此外，自动精简配置、快照和克隆技术的使用也可以提升存储的效率。

很多大数据存储系统都包括归档组件，尤其对那些需要分析历史数据或需要长期保存数据的机构来说，归档设备必不可少。从单位容量存储成本的角度看，磁带仍然是最经济的存储介质，事实上，在许多企业中，使用支持TB级大容量磁带的归档系统仍然是事实上的标准和惯例。

对成本控制影响最大的因素是那些商业化的硬件设备。因此，很多初次进入这一领域的用户以及那些应用规模最大的用户都会定制他们自己的“硬件平台”而不是用现成的商业产品，这一举措可以用来平衡他们在业务扩展过程中的成本控制战略。为了适应这一需求，现在越来越多的存储产品都提供纯软件的形式，可以直接安装在用户已有的、通用的或者现成的硬件设备上。此外，很多存储软件公司还在销售以软件产品为核心的软硬一体化装置，或者与硬件厂商结盟，推出合作型产品。

数据的积累

许多大数据应用都会涉及到法规遵从问题，这些法规通常要求数据要保存几年或者几十年。比如医疗信息通常是为了保证患者的生命安全，而财务信息通常要保存7年。而有些使用大数据存储的用户却希望数据能够保存更长的时间，因为任何数据都是历史记录的一部分，而且数据的分析大都是基于时间段进行的。要实现长期的数据保存，就要求存储厂商开发出能够持续进行数据一致性检测的功能以及其他保证长期高可用的特性。同时还要实现数据直接在原位更新的功能需求。

灵活性

大数据存储系统的基础设施规模通常都很大，因此必须经过仔细设计，才能保证存储系统的灵活性，使其能够随着应用分析软件一起扩容及扩展。在大数据存储环境中，已经没有必要再做数据迁移了，因为数据会同时保存在多个部署站点。一个大型的数据存储基础设施一旦开始投入使用，就很难再调整了，因此它必须能够适应各种不同的应用类型和数据场景。

应用感知

最早一批使用大数据的用户已经开发出了一些针对应用的定制的基础设施，比如针对政府项目开发的系统，还有大型互联网服务商创造的专用服务器等。在主流存储系统领域，应用感知技术的使用越来越普遍，它也是改善系统效率和性能的重要手段，所以，应用感知技术也应该用在大数据存储环境里。

小用户怎么办？

依赖大数据的不仅仅是那些特殊的大型用户群体，作为一种商业需求，小型企业未来也一定会应用到大数据。我们看到，有些存储厂商已经在开发一些小型的“大数据”存储系统，主要吸引那些对成本比较敏感的用户。

以上就是关于有人教我数据库原理与应用吗全部的内容，包括:有人教我数据库原理与应用吗、手机框架是什么、企业如何确保开源CRM软件顺利运行等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！