二、socket通讯服务器方式。要传送数据的双方建立socket连接后再传送数据，数据格式自行约定，并对传输的数据进行加密，这种方式在银行系统中用得比较多（c、c++写的核心）。
三、 webservice方式。这种方式不再做过多描述，具体请参阅我的《webservice之cxf实现》《webservice架构设计》博文。这种方式在互联网上用得多一些。
四、 远程rmi（如OMG CORBA）方式。以前我在delphi中实现过（怀念李维的时代，呵呵），j2se中也有相应的支持，这种方式相对来说比较复杂。如果同为java系统可用jndi方式，ejb也是一种方式。
五、远程url地址方式。这种方式在互联网上用得很多，比如：facebook，豆瓣的api，支付宝在线支持数据交互等等，早期DWR的web远程调用本质上也属于这种。当然，webservice说到底也是这种方式，只不过数据的xml打包和解包过程由程序按照规范自动完成。交互示意图
这种暴露url地址方式的数据传输格式可以是xml、json或自定义text格式，也可以在请求参数中直接协带一个一个需要的数据。要注意的是，如果在客户浏览器中解析第三方服务器的json数据会有跨域安全访问问题（无论js还是fash、flex都一样），还好，jQuery中有相应的函数封装。
总之，无论采用哪种方式，你在为实际项目做架构原型的时候，下面几个因素都要考虑周全。
一、简单。交互的设计要简单，这对调用双方都有好处。
二、 安全性。如何保证数据在交互过程中的安全性是一个点。
三、 性能。在选择的时候，要考虑数据量的大小，以决定一种合适的方式（比如：一次调用请求的数据量，请求调用的频率）。
四、最后，要考虑重复数据的处理，特别是在其它系统将数据推入的情况，对于推入的数据，要做好处理日志，以备后查。大数据更多交互方式，参考：>42 broker
Kafka 集群包含一个或多个服务器，服务器节点称为broker。
broker存储topic的数据。如果某topic有N个partition，集群有N个broker，那么每个broker存储该topic的一个partition。
如果某topic有N个partition，集群有(N+M)个broker，那么其中有N个broker存储该topic的一个partition，剩下的M个broker不存储该topic的partition数据。
如果某topic有N个partition，集群中broker数目少于N个，那么一个broker存储该topic的一个或多个partition。在实际生产环境中，尽量避免这种情况的发生，这种情况容易导致Kafka集群数据不均衡。
43 Topic
每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
类似于数据库的表名
43 Partition
topic中的数据分割为一个或多个partition。每个topic至少有一个partition。每个partition中的数据使用多个segment文件存储。partition中的数据是有序的，不同partition间的数据丢失了数据的顺序。如果topic有多个partition，消费数据时就不能保证数据的顺序。在需要严格保证消息的消费顺序的场景下，需要将partition数目设为1。
44 Producer
生产者即数据的发布者，该角色将消息发布到Kafka的topic中。broker接收到生产者发送的消息后，broker将该消息追加到当前用于追加数据的segment文件中。生产者发送的消息，存储到一个partition中，生产者也可以指定数据存储的partition。
45 Consumer
消费者可以从broker中读取数据。消费者可以消费多个topic中的数据。
46 Consumer Group
每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。
47 Leader
每个partition有多个副本，其中有且仅有一个作为Leader，Leader是当前负责数据的读写的partition。
48 Follower
Follower跟随Leader，所有写请求都通过Leader路由，数据变更会广播给所有Follower，Follower与Leader保持数据同步。如果Leader失效，则从Follower中选举出一个新的Leader。当Follower与Leader挂掉、卡住或者同步太慢，leader会把这个follower从“in sync replicas”（ISR）列表中删除，重新创建一个Follower。大多数模式下，集群中所有的计算机拥有一个共同的名称，集群内任一系统上运行的服务可被所有的网络客户所使用。Cluster必须可以协调管理各分离的组件的错误和失败，并可透明地向Cluster中加入组件。
一个Cluster包含多台（至少二台）拥有共享数据存储空间的服务器。任何一台服务器运行一个应用时，应用数据被存储在共享的数据空间内。每台服务器的 *** 作系统和应用程序文件存储在其各自的本地储存空间上。
Cluster内各节点服务器通过一内部局域网相互通讯。当一台节点服务器发生故障时，这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。当一个应用服务发生故障时，应用服务将被重新启动或被另一台服务器接管。当以上任一故障发生时，客户将能很快连接到新的应用服务上。
集群的硬件配置
镜像服务器双机
集群中镜像服务器双机系统是硬件配置最简单和价格最低廉的解决方案，通常镜像服务的硬件配置需要两台服务器，在每台服务器有独立 *** 作系统硬盘和数据存贮硬盘，每台服务器有与客户端相连的网卡，另有一对镜像卡或完成镜像功能的网卡。
镜像服务器具有配置简单，使用方便，价格低廉诸多优点，但由于镜像服务器需要采用网络方式镜像数据，通过镜像软件实现数据的同步，因此需要占用网络服务器的CPU及内存资源，镜像服务器的性能比单一服务器的性能要低一些。
有一些镜像服务器集群系统采用内存镜像的技术，这个技术的优点是所有的应用程序和网络 *** 作系统在两台服务器上镜像同步，当主机出现故障时，备份机可以在几乎没有感觉的情况下接管所有应用程序。因为两个服务器的内存完全一致，但当系统应用程序带有缺陷从而导致系统宕机时，两台服务器会同步宕机。这也是内存镜像卡或网卡实现数据同步，在大数据量读写过程中两台服务器在某些状态下会产生数据不同步，因此镜像服务器适合那些预算较少、对集群系统要求不高的用户。
硬件配置范例：
网络服务器 两台
服务器 *** 作系统硬盘 两块
服务器数据存贮硬盘 视用户需要确定
服务器镜像卡（部分软件可使用标准网卡） 两块
网络服务网卡 两块三、双机与磁盘阵列柜
与镜像服务器双机系统相比，双机与磁盘阵列柜互联结构多出了第三方生产的磁盘阵列柜，目前，豪威公司、精业公司等许多公司都生产有磁盘阵列柜，在磁盘阵列柜中安装有磁盘阵列控制卡，阵列柜可以直接将柜中的硬盘配置成为逻辑盘阵。磁盘阵列柜通过SCSI电缆与服务器上普通SCSI卡相连，系统管理员需直接在磁盘柜上配置磁盘阵列。
双机与磁盘阵列柜互联结构不采用内存镜像技术，因此需要有一定的切换时间（通常为60？D？D180秒），它可以有郊的避免由于应用程序自身的缺陷导致系统全部宕机，同时由于所有的数据全部存贮在中置的磁盘阵列柜中，当工作机出现故障时，备份机接替工作机，从磁盘阵列中读取数据，所以不会产生数据不同步的问题，由于这种方案不需要网络镜像同步，因此这种集群方案服务器的性能要比镜像服务器结构高出很多。
双机与磁盘阵列柜互联结构的缺点是在系统当中存在单点错的缺陷，所谓单点错是指当系统中某个部件或某个应用程序出现故障时，导致所有系统全部宕机。在这个系统中磁盘阵列柜是会导致单点错，当磁盘阵列柜出现逻辑或物理故障时，所有存贮的数据会全部丢失，因此，在选配这种方案时，需要选用一个品质与售后服务较好的产品。
硬件配置范例：
网络服务器 两台
服务器 *** 作系统硬盘 两块
第三方生产的磁盘阵列柜 一台
磁盘柜专用SCSI电线 两根
磁盘阵列柜数据存贮硬盘 视用户需求确定
网络服务网卡 两块
除此之外，一些厂商还有更优秀的技术的解决方案，比如 HP
HP双机双控容错系统
HP NetServer为双机双控容错系统提供了高品质和高可靠的硬件基础……
HP双机双控容错系统结合了HP服务器产品的安全可靠性与Cluster技术的优点，相互配合二者的优势。
硬件配置范例：
HP L系统的网络服务器 两台
服务器 *** 作系统硬盘 两块
HP硬盘存贮柜（SS/6，RS/8，RS/12） 一台
磁盘柜专用SCSI集群适配电缆 两根
磁盘柜数据存贮硬盘 视用户需求确定
HP集群专用阵列卡 两块
网络服务网卡 两块五、HP光纤通道双机双控集群系统
光纤通道是一种连接标准，可以作为SCSI的一种替代解决方案，光纤技术具有高带宽、抗电磁干扰、传输距离远、质量高、扩展能力强等特性，目前在FC-AL仲裁环路上可接入126个设备。
光纤设备提供了多种增强的连接技术，大大方便了用户使用。服务器系统可以通过光缆远程连接，最大可跨越10公里的距离。它允许镜像配置，这样可以改善系统的容错能力。服务器系统的规模将更加灵活多变。SCSI每条通道最多可连接15个设备，而光纤仲裁环路最多可以连接126个设备。
光纤集群系统组成：
HP光纤集群系统硬件设备包括有两台HP服务器（需支持光纤卡，目前有LC2000、LH3000、LH4、 LH6000、LT6000、LXr8000、LXR8500）及光纤适配卡，可以使用RS/12FC光纤磁盘阵列柜，需另加一对或两对网卡用于心跳检测和与客户端连接。在配置过程中还需另外选配光纤卡到光纤存贮设备的光纤电缆。
硬件配置：
HPL系统的网络服务器 两台
服务器 *** 作系统硬盘 两块
HP光纤阵列存贮柜（RS/12FC） 一台
光纤磁盘柜专用光纤电缆 两根
光纤磁盘柜数据存贮硬盘 视用户需求确定
HP光纤适配卡 两块
网络服务网卡 两块
集群的软件配置
基于NT平台的集群软件
Microsoft的MSCS，也有许多第三方的专业软件公司开发的集群软件，如豪威的DATAWARE，VIN CA公司的STANDBY SERVER，NSI公司的DOUBLE-TAKE
MS WolfPack的特点
MS WolfPack是MS Cluster server的别称，是 微软针对Cluster技术研制开发的双机软件。它集成在NT SERVER上，支持由二台机器组成的双机系统，提供一种高可用且易管理的应用环境。
主要特点：
自动检测和修复服务器或应用程序的错误
可实现对服务器中应用程序的切换
可通过TCP/IP连接各种客户端，如MS-DOS、WINDOWS 3X/9X/NT，Apple Macintosh、UNIX等
生产主机无需人工干涉即可自动恢复数据并接管任务
易管理性：
可自动审核服务器和应用程序的工作状态
可建立高可用性的应用程序、文件共享、打印请求等
可灵活设置应用程序和数据的恢复策略
简单 *** 作即可进行应用程序的离线，重新再线，服务器间的迁移。
目前，WINDOWS 2000 Advanced Server与WINDOWS 2000 DataCenter Server都集成有更先进集群技术。
其它的网络 *** 作系统平台上也有许多集群软件，比如：
基于novell平台的集群软件有Novell HA Server、Novell SFT III
基于sco UNIX平台的集群软件有Sentinel集群软件
基于Linux平台的集群软件有TurboCluster
集群技术的发展趋势
集群技术随着服务器硬件系统与网络 *** 作系统的发展将会在可用性、高可靠性、系统冗余等方面逐步提高。未来的集群可以依靠集群文件系统实现对系统中的所有文件、设备和网络资源的全局访问，并且生成一个完整的系统映像。这样，无论应用程序在集群中的哪台服务器上，集群文件系统允许任何用户（远程或本地）都可以对这个软件进行访问。任何应用程序都可以访问这个集群任何文件。甚至在应用程序从一个节点转移到另一个节点的情况下，无需任何改动，应用程序就可以访问系统上的文件。
php服务器搭建有两种方式
一种是linux+apache+mysql+php方式。
另外一种是windows+IIS+mysql+php方式。
还有一种方式，就是在windows模式下，用apache作为服务器。
这种情况。第一种配置较为复杂。而且一般作为服务器居多，个人电脑测试用，一般以windows为主。
所以下面的配置方式以windows7为例：
首先，你需要去下载php的原始文件，绿色版的，安装版的均可。
1将下载的php压缩解压。得到如下的目录
、
2添加IIS，windows7默认情况下是不安装IIS的。
打开控制面板->程序和功能->打开或关闭windows功能。安装好IIS后如下：
3，添加处理程序映射
请求路径设为php,模块选择fastCgiModule。在windows+IIS模式下。fastCGI模式比传统的isapi模式效率要高很多。
可执行文件选择刚才解压的目录。文件类型选择exe，选择对应的文件即可。下面的名称可任意。
然后确定。重启IIS。服务器就好了。另外所谓的MYSQL。直接下载安装版的就行了。
关系型数据库简介关系型数据库以行和列的形式存储数据，以便于用户理解。这一系列的行和列被称为表，一组表组成了数据库。用户用查询(Query)来检索数据库中的数据。一个Query是一个用于指定数据库中行和列的SELECT语句。关系型数据库通常包含下列组件：客户端应用程序(Client)数据库服务器(Server)数据库(Database)StructuredQueryLanguage(SQL)Client端和Server端的桥梁，Client用SQL来象Server端发送请求，Server返回Client端要求的结果。现在流行的大型关系型数据库有IBMDB2、IBMUDB、Oracle、SQLServer、SyBase、Informix等。关系型数据库并不是唯一的高级数据库模型，也完全不是性能最优的模型，但是关系型数据库确实是现今使用最广泛、最容易理解和使用的数据库模型。大多数的企业级系统数据库都采用关系型数据库，关系型数据库的概念是掌握数据库开发的基础，所以本节的问题也成为NET面试中频繁出现的问题之一。所涉及的知识点关系型数据库的概念关系型数据库的优点分析问题关系型数据库的概念所谓关系型数据库，是指采用了关系模型来组织数据的数据库。关系模型是在1970年由IBM的研究员EFCodd博士首先提出，在之后的几十年中，关系模型的概念得到了充分的发展并逐渐成为数据库架构的主流模型。简单来说，关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。下面列出了关系模型中的常用概念。关系：可以理解为一张二维表，每个关系都具有一个关系名，就是通常说的表名。元组：可以理解为二维表中的一行，在数据库中经常被称为记录。属性：可以理解为二维表中的一列，在数据库中经常被称为字段。域：属性的取值范围，也就是数据库中某一列的取值限制。关键字：一组可以唯一标识元组的属性。数据库中常称为主键，由一个或多个列组成。关系模式：指对关系的描述，其格式为：关系名（属性1，属性2，…，属性N）。在数据库中通常称为表结构。关系型数据库的优点关系型数据库相比其他模型的数据库而言，有着以下优点：容易理解：二维表结构是非常贴近逻辑世界的一个概念，关系模型相对网状、层次等其他模型来说更容易理解。使用方便：通用的SQL语言使得 *** 作关系型数据库非常方便，程序员甚至于数据管理员可以方便地在逻辑层面 *** 作数据库，而完全不必理解其底层实现。易于维护：丰富的完整性（实体完整性、参照完整性和用户定义的完整性）大大降低了数据冗余和数据不一致的概率。近几年来，非关系型数据库在理论上得到了飞快的发展，例如：网状模型、对象模型、半结构化模型等。网状模型拥有性能较高的优点，通常应用在对性能要求较高的系统中；对象模型符合面向对象应用程序的思想，可以完美地和程序衔接，而不需要另外的中间转换组件，例如现在很多的O\RMapping组件；半结构化模型随着XML的发展而得到发展，现在已经有了很多半结构化的数据库模型。但是，凭借其理论的成熟、使用的便捷以及现有应用的广泛，关系型数据库仍然是系统应用中的主流方案。finebi是一个servlet应用。servlet是一种服务器端的java应用程序，具有独立于平台和协议的特性，可以生成动态的web页面。
web服务器部署通常分两个步骤，首先是在服务器上安装web服务器并进行环境配置，然后将web工程部署到web服务器上并发布出来；这样能通过IP地址和ServerURL来访问这个web工程达到应用的目的。
熟悉完虚拟机配置服务器之后，就可以尝试上手搭建实体服务器了，如果要选购服务器，应该考虑哪些因素呢？如果不差钱，那就好办了，直接选最贵的就好了。在预算有限的条件下。CPU，内存，硬盘如何取舍，达到最佳性能，是否需要购买UPS，显卡是否有必要？这些问题，我们一文解决这些疑问。二十二：服务器配置
1、CPU
CPU是计算机的大脑，计算机的计算主要就是靠CPU来完成，所以，CPU非常重要，CPU的计算速度决定了计算机的计算能力。也就是水桶效应中最上面的那块木板。比如序列拼接这个工作，需要将测序的reads切成更小 的片段，然后将这些小片段根据序列间的关系，连成更长的片段，那么这些片段有数百万至数千万，需要非常大的计算量。如果数据复杂，计算量就更大了。
另外，CPU还需要支持多核心，CPU是大脑，一个核心是一个心眼儿，所以，我们知道心眼越多的人越聪明。多核心就可以进行并行计算，在生物信息分析中，有些工作，可以进行并行计算。相当于原来一个人的工作，现在由100个同样的人来做，理论上速度快了100倍。因此，在硬件配置中，选择CPU是非常重要的。
2、内存
内存是CPU和硬盘之间数据交流的媒介，计算机需要将存储在硬盘上的数据读取到内存中，CPU才能用来计算，而CPU不能直接读取硬盘上的数据，必须通过内存这个缓冲区，举个例子，CPU是大脑，内存是脖子，脖子以下是硬盘。内存往往就是“瓶颈”。
假设一个人的全基因组测序数据，采用二代测序的方法，人的基因组3G，10被数据30G，那么这30G的碱基，在切成更小的kmer，假设数据增加到了100G，还不算存储序列的一些其他信息，序列拼接的时候必须一次将所有数据同时存入内存，如果内存达不到100G，拼接根本无法完成。
3、硬盘
硬盘其实是计算机硬件配置中非常重要的一环，但是硬盘往往容易被大家忽略掉，认为硬盘用来存储数据，只要需要足够大就行了，这是不对的。
首先大存储量是必须的，因为生物数据往往都称为生物大数据，非常消耗存储空间，包括原始的数据存储，中间分析结果，最终结果，数据备份等，尤其是在样品量大的时候，就会非常占据存储空间，一般都是以T为单位的。
其次，硬盘的读写速度，这个也是非常重要的因素，因为目前CPU计算速度和内存已经足够大了，这样的条件下，硬盘成为限制计算机整体性能的因素。因此使用SSD硬盘会明显改善计算机性能。由于目前SSD过于昂贵，可以选择SSD+机械硬盘的方案，硬盘要做成RAID提高读写速度和数据安全性。
4、显卡
可以选配显卡，这个并不是必须的，因为很多分析工作都是文本 *** 作，显卡适合于图形计算，例如计算蛋白质空间结构，构建系统网络等，可以选择配置显卡。
5、不间断电源UPS
UPS相当于一个大的移动电源，为了防止突然断电，导致数据丢失。UPS还是非常重要的。有些生物计算需要持续很长时间，例如拼接一个大的基因组，构建一个大的系统发育树等可能数十天时间，一旦断电，损失非常大，不要心存侥幸心理，灾难往往就发生在那些心存侥幸心理的人身上。
6、其他
冷却系统，如果是大型计算系统，设备会产生大量热量，需要建设冷却系统。
---------- END ----------
欢迎订阅我们的微信公众号，更多精彩内容等你发掘！
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）