基于J2EE的图书管理系统毕业设计

Hadoop常见问题解答

（1）Hadoop适不适用于电子政务？为什么？

电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化，建成一个精简、高效、廉洁、公平的政府运作信息服务平台。因此电子政务肯定会产生相关的大量数据以及相应的计算需求，而这两种需求涉及的数据和计算达到一定规模时传统的系统架构将不能满足，就需要借助海量数据处理平台，例如Hadoop技术，因此可以利用Hadoop技术来构建电子政务云平台。

总结一下，任何系统没有绝对的适合和不适合，只有当需求出现时才可以决定，在一个非常小的电子政务系统上如果没有打数据处理以及计算分析需求时就不需要hadoop这样的技术，而实际上，商用的电子政务平台往往涉及到大规模的数据和大量的计算分析处理需求，因此就需要Hadoop这样的技术来解决。（2）hadoop对于实时在线处理有优势吗？

直接使用hadoop进行实时处理时没有优势的，因为Hadoop主要解决的是海量批处理作业计算问题，但是可以使用基于Hadoop的分布式NOSQL系统HBase系统以及相关实时处理系统：

1 基于Hadoop的HBase可以做到实时处理以及相关需求的实时计算，主要解决海量<key,value>相关查询计算等需求。

2 可以考虑Spark计算，Spark是基于共现内存RDD的系统，比Hadoop更快，时候迭代式计算，例如数据挖掘，机器学习算法等。

3 还有Storm，Storm是一个免费开源、分布式、高容错的实时计算系统，Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。

4 考虑S4， S4是Yahoo!在2010年10月开源的一套通用、分布式、可扩展、部分容错、具备可插拔功能的平台。这套平台主要是为了方便开发者开发处理流式数据（continuous unbounded streams of data）的应用。

你可以依据实际的需求来选择合适的系统。

（3）Hadoop存储海量数据没有问题，但是如何能够做到海量数据的实时检索？

1,可以结合开源的搜索引擎Apache Lucene，Solr 或ElasticSearch

2,海量数据的实时检索可以考虑HBase，建议可以使用hadoop将数据构建成以查询key为键的数据集，然后将<key, value>集合写入Hbase表中，Hbase会自动以key为键进行索引，在数十亿甚至以上的级别下，查询key的value响应时间也估计再10毫秒内。

如果检索条件是多个组合的情况下，可以适当的设计多个hbase表格，这样的检索也是很快的，同时Hbase也是支持二级索引。在符合条件下查询，Hbase也是支持MapReduce的，如果对响应时间要求不高的情况下，可以考虑将hive和Hbase系统结合来使用。

如果数据量不是很大的情况下也可以考虑支持类似SQL的NOSLQ系统。

（4）能不能给点hadoop的学习方法以及学习规划，hadoop系统有点庞大，感觉无从学起

首先搞清楚什么是hadoop以及hadoop可以用来做什么？

然后，可以从最经典的词频统计程序开始，初步了解MapReduce的基本思路和处理数据的方式。

接着，就可以正式学习hadoop的基本原理，包括HDFS和MapReduce，先从整体，宏观核心原理看，先别看源码级别。

进一步，就可以深入HDFS和MapReduce和模块细节，这个时候可以结合源码深入理解，以及实现机制。

最后就是需要实战了，可以结合自己的项目或者相关需求来完成一些hadoop相关应用。

（5） 大的文件拆分成很多小的文件后，怎样用Hadoop进行高效的处理这些小文件？以及怎样让各个节点尽可能的负载均衡？

1 怎样用Hadoop进行高效的处理这些小文件？

你这个问题提的很好，hadoop在处理大规模数据时是很高效的，但是处理大量的小文件时就会因为系统资源开销过大而导致效率较低，针对这样的问题，可以将小文件打包为大文件，例如使用SequcenFile文件格式，例如以文件签名为key，文件内容本身为value写成SequcenFile文件的一条记录，这样多个小文件就可以通过SequcenFile文件格式变为一个大文件，之前的每个小文件都会映射为SequcenFile文件的一条记录。

2 怎样让各个节点尽可能的负载均衡？

在hadoop集群中负载均衡是非常关键的，这种情况的导致往往是因为用户的数据分布的并不均衡，而计算资源槽位数确实均衡分布在每个节点，这样在作业运行时非本地任务会有大量的数据传输，从而导致集群负载不均衡，因此解决不均衡的要点就是将用户的数据分布均衡，可以使用hadoop内置的balancer脚本命令。

对于因为资源调度导致的不均衡则需要考虑具体的调度算法和作业分配机制。

(6)c/c++ 程序员如何入门Hadoop到深入了解，并在Linux服务器上布置运用，有没有方向性的指导

针对C/C++用户，Hadoop提供了hadoop streaming接口和pipes接口，hadoop streaming接口以标准输入和标准输出作为用户程序和hadoop框架交互的中间件，pipes这是专门针对C/C++语言的接口，以socket作为同学中介。

从使用上建议从streaming入手，pipes相比streaming问题比较多，而且pipes调试不容易。

(7)现在企业中使用Hadoop版本主要是1x还是2x？

目前百度，腾讯，阿里为主的互联网公司都是以hadoop 1X为基准版本的，当然每个公司都会进行自定义的二次开发以满足不同的集群需求。

2X在百度内部还没有正式使用，还是以1X为主，不过百度针对1X的问题开发了HCE系统（Hadoop C++ Expand系统）

补充，Hadoop2x在其他公司应用的很多，比如京东

(8)以后想从事大数据方面工作，算法要掌握到什么程度，算法占主要部分吗

首先，如果要从事大数据相关领域的话，hadoop是作为工具来使用的，首先需要掌握使用方法。可以不用深入到hadoop源码级别细节。

然后就是对算法的理解，往往需要设计到数据挖掘算法的分布式实现，而算法本身你还是需要理解的，例如常用的k-means聚类等。

(9)现在spark，storm越来越火，谷歌也发布了Cloud Dataflow，是不是Hadoop以后主要应该学习hdfs和yarn，而且以后Hadoop程序员的主要做的就是把这些东西打包，只提供接口让普通的程序员也能使用，就像Cloudera和Google一样

这位同学，你多虑了，hadoop和spark, strom是解决不同的问题，不存在哪个好那个坏，要学习Hadoop还是以主流的hadoop-1X为版本，2X最主要的就是多了yarn框架，很好理解的。

如果你是hadoop本身研发建议都看，如果你是hadoop应用相关研发，看主流的1X就行，我的书《Hadoop核心技术》是以主流的1X为版本讲解的，有兴趣可以看看。

(10)小白问一句，大数据处理都是服务器上安装相关软件吗，对程序有什么影响呢，集群、大数据是属于运维的工作内容还是攻城狮的呢

传统的程序只能运行在单机上，而大数据处理这往往使用分布式编程框架编写，例如hadoop mapreduce，只能运行在hadoop集群平台上。

运维的责任：保证集群，机器的稳定性和可靠性

hadoop系统本身研发：提高Hadoop集群的性能，增加新功能。

大数据应用：把hadoop作为工具，去实现海量数据处理或者相关需求。

(11)学习hadoop该怎么入手呢？应该做一些什么样的项目呢？

可以参考我上面的几个回答，可以从最简单词频统计程序入手，然后学习理解HDFS和MapReduce的基本原理和核心机制，如果仅仅把Hadoop作为一个工具来使用的话这样就可以了，最重要的就是实战了，可以尝试使用Hadoop处理一些数据，例如做日志分析，数据统计，排序，倒排索引等典型应用。

(12)100个以上hadoop节点，一般怎么开发，运维？任务很多的情况下任务资源怎么分配，任务执行顺序是定时脚本还是别的什么方式控制

1 首先大数据的应用开发和hadoop集群的规模是没有关系，你指的是集群的搭建和运维吗，对于商用的hadoop系统来说涉及到很多东西，建议参考《hadoop核心技术》实战篇 “第10章　Hadoop集群搭建 ” 章节。

2 任务的分配是有hadoop的调度器的调度策略决定的，默认为FIFO调度，商业集群一般使用多队列多用户调度器，可以参考参考《hadoop核心技术》高级篇 “第9章　Hadoop作业调度系统” 章节。

3 任务的执行顺序是有用户控制的，你自然可以定时启动，也可以手动启动。

(13)基于Hadoop做开发，是否必须会使用Java，使用其他开发语言是否无法更好的融入整个Hadoop的开发体系

基于Hadoop做开发可以使用任何语言，因为hadoop提高了streaming编程框架和pipes编程接口，streaming框架下用户可以使用任何可以 *** 作标准输入输出的计算机语言来开发hadoop应用。

(14)在reduce阶段老是卡在最后阶段很长时间，在网上查的说是有可能是数据倾斜，我想问这个有啥解决方法吗

1,你这个就是数据倾斜啊 好多数据都集中在一个reduce里 其他reduce里分配的数据比较少 默认情况下决定哪些数据分配到哪个reduce是由reduce个数和partiiton分区决定的 默认是对key进行hash运算 一般情况下用mapreuce倾斜很少 除非你用的HIVE

2,reduce分为3个子阶段：shuffle、sort和reduce，如果reduce整个过程耗时较长，建议先看一下监控界面是卡在哪个阶段，如果是卡在shuffle阶段往往是网络阻塞问题，还有就是某reduce数据量太大，也就是你所说的数据倾斜问题，这种问题往往因为某个key的value太多，解决方法是：第一，默认的partiiton可能不适合你的需求，你可以自定义partiiton；第二就是在map端截断，尽量让达到每个reduce端的数据分布均匀。

(15)非大数据的项目能否用hadoop

非大数据项目是否可以用Hadoop的关键问题在于是否有海量数据的存储，计算，以及分析挖掘等需求，如果现有系统已经很好满足当前需求那么就没有必要使用Hadoop，没有必要使用并不意味这不能使用Hadoop，很多传统系统能做的Hadoop也是可以做的，例如使用HDFS来代替LINUX NFS，使用MapReduce来代替单服务器的统计分析相关任务，使用Hbase代替Mysql等关系数据库等，在数据量不大的情况下通常Hadoop集群肯定比传统系统消耗更多的资源。

(16)hadoop mapreduce 和第三方资源管理调度系统如何集成？

Hadoop的调度器设计的一个原则就是可插拔式调度器框架，因此是很容易和第三方调度器集成的，例如公平调度器FairScheduler和容量调度器CapacityScheduler，并配置mapred-sitexml的mapreducejobtrackertaskscheduler以及调度器本身的配置参数，例如公平调度器控制参数则需要编辑fair- schedulerxml进行配置，具体可以参考我的新书《Hadoop核心技术》实战篇第十章节1011的集群搭建实例中的10109 配置第三方调度器，同时可以进一步深入学习第9章 Hadoop作业调度系统，在这一章中会详细介绍各种第三方调度器以及使用配置方法。

式

all as we konow，引用参考文献也就是如下三个，那么分别导入endnote改怎么使用呢？

11 中国知网

在你想要的文献里面，点引用，点击导出

在这里插入描述

文献如下，有一个cnki的文件夹

在这里插入描述

回到Endnote中

路径：File->import->file

在这里插入描述

此时文献导进endnote成功

12web of science

这个主要是用于我们查阅英文文献用到的

在这里插入描述

在这里插入描述

-接下来你会有一个这样的文件ciw结尾但是是ISI格式的文件

在这里插入描述

回到endnote中，我们上述提到是ISI文件，因此导入的时候需要切换如下

在这里插入描述

此时文献导入完成

在这里插入描述

13 谷歌学术

个人认为，这个检梭文献更快，同时应用也方便

需要检索文献可以参考这个site:google学术镜像

在这里插入描述

下载之后你会有一个scholar文件；导入Endnote如上述一样

在这里插入描述

在这里插入描述

导入成功

在这里插入描述

打开CSDN APP，看更多技术内容

插拔式java_Java Swing APIs可插拔式外观风格特性应用_七231f

Java Swing APIs可插拔式外观风格特性应用以下文字资料是由(历史新知网>参考链接： >

如今社会，智能手机不仅仅是通信工具，更是我们的移动钱包。移动支付，已经是我们日常生活中的基本 *** 作。那么，在这一次次的支付中，特别是安卓开放环境，如何能保障我们的金融资产不被盗窃呢？为此华为手机针对核心数据和支付安全进行了层层加固，将手机构筑成一个安全级别极高的银行。

首先，华为手机针对支付相关的应用，提供了支付保护中心功能，把支付相关的应用统统保护起来，防范各种恶意威胁和攻击。这相当于在手机这座大楼构筑了一个密室，严格管控来访问密室的应用。

再次，对转账类 *** 作，华为业界首创手机盾功能，通过独立的安全芯片，支持银行手机证书，将传统的USB插拔式U盾变为随身携带的手机盾，为电子支付提供金融级的硬件保护。相当于在地下室建的安全房，安全级别更高。

最后，华为手机还在芯片层面构筑了TEE

OS（又叫可信执行环境），具体来讲，就是华为手机在麒麟芯片中单独开辟了一块数据隔离的安全区域（从物理层面看不出来），涉及到密码、生物特征（人脸/指纹等）等信息都会存储在这个区域之中。其他模块，比如支付类应用、屏幕、摄像头想要访问相关数据，都需要经过严格的安全检测。也就是说，当我们用支付宝或者微信等软件进行支付

时，每次“握手验证”环节都是在TEE OS完成，杜绝第三方应用获取到数据信息。这相当于大楼地下最深层次的保险库，保护手机的安全数据。

此外，在软件层面，华为手机还配备了手机大楼的安保体系。

在如今的手机支付的场景中，大家大多数都是使用指纹或密码的进行相关支付，华为手机为此对支付过程进行了安全防护。当用户输入密码时，华为手机会自动切换到安全输入法，它没有联想和记忆功能，没有联网权限，不会收集用户的密码，也禁止后台录屏或第三方应用截屏，确保用户的密码输入安全。

另外，在大楼里还有无处不在的摄像头和监控中心，以转账和支付过程中常用的验证码为例。EMUI内置的短信验证码智能识别引擎，会保证将识别到的验证码短信，只分发给默认短信客户端，并进行加密保存，并对访问进行过滤，即使有应用对短信数据库直接读取，读到的验证码短信内容依然是加密的。

最后还有华为EMUI的文件系统加密功能，不仅对每个文件都进行了高强度的加密，同时把密钥储存在TEE OS内，让不法分子不能通过直接访问文件来获取设备里的信息。

通过华为手机硬件+软件的层层防护，将手机这座大楼防护的如同铁桶一般，不让不法分子有机可乘，充分保证了手机的数据和移动支付安全，让消费者使用手机更加放心。

1 Spring Boot是什么，解决哪些问题

   1) Spring Boot使编码变简单

   2) Spring Boot使配置变简单

   3) Spring Boot使部署变简单

   4) Spring Boot使监控变简单

   5) Spring Boot的不足

2 Spring Boot在平台中的定位，相关技术如何融合

   1) SpringBoot与SEDA +MicroService + RESTful

   2) SpringBoot与Mock

3 采用了SpringBoot之后，技术管理应该如何进行

首先，我们来看一下spring boot是什么，它帮助我们解决了哪些问题：

SpringBoot是伴随着Spring40诞生的；

从字面理解，Boot是引导的意思，因此SpringBoot帮助开发者快速搭建Spring框架；

SpringBoot帮助开发者快速启动一个Web容器；

SpringBoot继承了原有Spring框架的优秀基因；

SpringBoot简化了使用Spring的过程。

Spring由于其繁琐的配置，一度被人认为“配置地狱”，各种XML、Annotation配置，让人眼花缭乱，而且如果出错了也很难找出原因。

Spring Boot更多的是采用Java Config的方式，对Spring进行配置。

可以看到，采用了spring-boot-start-actuator之后，直接以REST的方式，获取进程的运行期性能参数。

当然这些metrics有些是有敏感数据的，spring-boot-start-actuator为此提供了一些Basic Authentication认证的方案，这些方案在实际应用过程中也是不足的。

Spring Boot作为一个微框架，离微服务的实现还是有距离的。

没有提供相应的服务发现和注册的配套功能，自身的acturator所提供的监控功能，也需要与现有的监控对接。没有配套的安全管控方案，对于REST的落地，还需要自行结合实际进行URI的规范化工作。

下面，我们研究一下Spring Boot在平台中的定位，相关技术如何融合。

上图比较复杂，整体是采用SEDA，也就是Stage-EDA。可以看到，整体是以处理顺序进行展示的，响应过程类似。在处理过程中，主要会有前置过滤，核心功能处理，后置过滤几大部分。

图中的过滤器都是可插拔式的，并且可以根据实际场景进行扩展开发。每个过滤器都是Stage，比如ClientInstance合法性检查、调用鉴权、解密、限流等等。

一个请求Stage与Stage的转换，实现上是切换不同的线程池，并以EDA的方式驱动。

对于业务逻辑的开发者而言，只需要关心CORE部分的业务逻辑实现，其他的非功能都由框架进行统一实现。

Mock不应当再是测试的专有名词了，当然对于测试这个角色而言，mockito这样的工具，依然可以为他们提升不少效率。

SpringBoot为创建REST服务提供了简便的途径，相比之下，采用阿里的dubbo在做多团队、多进程联调时，mock的难度就陡增。

Mock是解耦并行开发的利器，在理性的情况下，软件从开发期Mock联调，到开发与开发的真实联调，只需要切换一个依赖的域名即可，比如：

mockURI:>

devURI:>

而上述的域名切换，只需要在开发期定义好一个配置项，在做环境切换的时候自动注入即可，省时、省心、省力。

如上图和docker的集成可以有AB两种方案：

A方案的核心是，把docker作为 *** 作系统环境的交付基线，也就是不同的fat jar 使用相同的 *** 作系统版本、相同的JVM环境。但对于docker image来说都是一样的。

B方案的核心是，不同的fat jar，独立的编译为docker image，在启动时直接启动带有特定版本的image。

A相比与B方案的特点是对于docker registry（也就是docker的镜像仓库）的依赖性较低，对于前期编译过程的要求也较低。

采用了Spring Boot之后，技术管理应该如何进行？

正因为Spring Boot是与Spring一脉相承的，所以对于广大的Java开发者而言，对于Spring的学习成本几乎为零。

在实践Spring Boot时学习重点，或者说思维方式改变的重点在于：

1）对于REST的理解，这一点尤为重要，需要从设计、开发多个角色达成共识，很多时候都是对于>

2）对于YAML的理解和对于JavaConfig的理解，这两点相对较为简单，本质上是简化了xml文件，并提供等价的配置表述能力。

1 丰富的工具链为SpringBoot的推广带来了利好。

2 SpringBoot的工具链主要来自于两个方面：

  1) 原有Spring积累的工具链；

  2) SpringMVC或者其他REST框架使用>

SpringBoot自身对于前面提到的配置文件：“applicationyml”提供了多个“Profile”，可以便于开发者描述不同环境的配置，这些配置例如数据库的连接地址、用户名和密码。

但是对于企业用户而言，把不同环境的配置，写到同一个配置文件中，是极其不安全的，是一个非常危险的动作。

有一个经常被提及的例子是，随着开源的进行，很多互联网公司，都由于把相关的代码提交到github之类的开源代码社区，并且没有对代码进行严格的配置审查，导致一些”password”被公开。有些不良用心的人，就利用搜索工具，专门去挖掘这些关键字，进而导致数据库被“拖库”。

所以对于企业用户，更多的应该是采用集中式的配置管理系统，将不同环境的配置严格区分地存放。

虽然SpringBoot的actuator自身提供了基于“用户名+口令”的最简单的认证方式，但它保护的是对框架自身运行期的性能指标敏感数据的最基本的保护。这种保护在实际应用过程中，“用户名+口令”的管理是缺乏的，“用户名+口令”的安全配置过程是缺失的。

SpringBoot也不提供对于我们自己开发的功能的任何防护功能。

一般来讲，一个安全的信道（信息传输的通道），需要通信双方在进行正式的信息传输之前对对方进行身份认证，服务提供方还需要在此基础之上，对请求方的请求进行权限的校验，以确保业务安全。这些内容也需要基于SpringBoot进行外围的安全扩展，例如采用前面提到的S-EDA进行进程级别的安全管控。这些还需要配套的安全服务提供支持。

一般来说，只要企业与互联网对接，那么随便一个面向消费者的“市场活动”，就有可能为企业带来井喷的流量。

传统企业内，更多的系统是管理信息类的支撑系统，这类系统在设计时的主要用户是企业内部员工以及有限的外部供应商。这类系统存在于企业内部的时间一直很长，功能耦合也很多，在功能解耦前，是非常不适合的，或者说绝对不可以直接为互联网的用户进行服务的。

SpringBoot自身并没有提供这样的流控措施，所以需要结合前面提到的S-EDA进行流量的控制，并结合下层的水平扩展能力（例如，Kubernets）进行流量负载合理的动态扩容。

另外，在长业务流程的设计上，也尽可能地采用异步的方式，比如接口调用返回的是一个“受理号”，而不是业务的处理结果，避免井喷业务到来时，同步调用所带来的阻塞导致系统迅速崩溃，这些也都是SpringBoot自身并不解决的问题。

下面我们总结一下：

一、功能不同

1、oracle11g：在DBA管理上有很多完善，大大提升了DBA对数据库的管控能力，提供的很多自动特性，增强了调优，备份恢复，错误诊断等的功能。

2、oracle12c：实现云数据库的支持，提供云平台管理，这是11所没有的。

二、特点不同

1、oracle11g： 合并和扩展oracle的功能以实现网格计算的优势，将数据中心从分散的系统资源孤岛转换为包含服务器和存储的共享池。

2、oracle12c：racle12c增加了CDB和PDB的概念。 CDB全称为Container Database， 数据库容器; PDB全称为Pluggable Database，即可插拔数据库。

三、优势不同

1、oracle11g： 合并和扩展oracle的功能以实现网格计算的优势，将数据中心从分散的系统资源孤岛转换为包含服务器和存储的共享池。

2、oracle12c：实例与数据库可以是一对多的关系。也就是说12c里面会在CDB下创建多个PDB，每个PDB类似于11g里面的实例，然后一个CDB下的各个PDB是相互隔离的。

参考资料来源：百度百科-Oracle 11g

参考资料来源：甲骨文官网-Oracle12c

以上就是关于基于J2EE的图书管理系统毕业设计全部的内容，包括:基于J2EE的图书管理系统毕业设计、问题解决策划方案、Hadoop常见问题解答等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！