大数据技术有哪些常用工具?

第一，Hadoop

Hadoop是用于分布式处理的大量数据软件框架。但是Hadoop以可靠，高效和可扩展的方式进行处理。Hadoop是可靠的，因为它假定计算元素和存储将发生故障，因此它维护工作数据的多个副本以确保可以为故障节点重新分配处理。Hadoop之所以高效是因为它可以并行工作，并通过并行处理来加快处理速度。Hadoop还具有可伸缩性，可以处理PB级的数据。此外，Hadoop依赖社区服务器，因此其成本相对较低，任何人都可以使用它。

第二，HPCC

HPCC，高性能计算和通信(High Performance Performance and Communications，高性能计算和通信)的缩写。1993年，美国科学，工程和技术联邦协调委员会向国会提交了有关“重大挑战项目：高性能计算和通信”的报告，也被称为HPCC计划的报告，即美国。总统的科学战略项目。目的是通过加强研发来解决许多重要的科学技术挑战。HPCC是一项计划在美国实施信息高速公路。该计划的实施将耗资数百亿美元。它的主要目标是开发可扩展的计算系统和相关软件，以支持TB级网络传输性能并开发数千美元。兆位网络技术扩展了研究和教育机构以及网络连接能力。

第三，暴风雨

Storm是免费的开源软件，是一种分布式的，容错的实时计算系统。Storm可以非常可靠地处理大量数据流，并用于处理Hadoop批处理数据。Storm非常简单，支持多种编程语言，并且使用起来非常有趣。Storm由Twitter开源，其他知名的应用程序公司包括Groupon，淘宝，支付宝，阿里巴巴，Le Element，Admaster等。

网络传输介质是网络中传输数据、连接各网络站点的实体。网络信息还可以利用无线电系统、微波无线系统和红外技术等传输。目前常见的网络传输介质有：双绞线、同轴电缆、光纤等。

一、双绞线电缆(TP)：将一对以上的双绞线封装在一个绝缘外套中，为了降低信号的干扰程度，电缆中的每一对双绞线一般是由两根绝缘铜导线相互扭绕而成，也因此把它称为双绞线。双绞线分为分为非屏蔽双绞线(UTP)和屏蔽双绞线(STP)。

目前市面上出售的UTP分为3类，4类，5类和超5类四种：

3类：传输速率支持10Mbps，外层保护胶皮较薄，皮上注有“cat3”

4类：网络中不常用

5类（超5类）：传输速率支持100Mbps或10Mbps，外层保护胶皮较厚，皮上注有“cat5”

超5类双绞线在传送信号时比普通5类双绞线的衰减更小，抗干扰能力更强，在100M网络中，受干扰程度只有普通5类线的1/4，目前较少应用。

STP分为3类和5类两种，STP的内部与UTP相同，外包铝箔，抗干扰能力强、传输速率高但价格昂贵。

双绞线一般用于星型网的布线连接，两端安装有RJ-45头(水晶头)，连接网卡与集线器，最大网线长度为100米，如果要加大网络的范围，在两段双绞线之间可安装中继器，最多可安装4个中继器，如安装4个中继器连5个网段，最大传输范围可达500米。

二、同轴电缆：由一根空心的外圆柱导体和一根位于中心轴线的内导线组成，内导线和圆柱导体及外界之间用绝缘材料隔开。按直径的不同，可分为粗缆和细缆两种：

粗缆：传输距离长，性能好但成本高、网络安装、维护困难，一般用于大型局域网的干线，连接时两端需终接器。

(1)粗缆与外部收发器相连。

(2)收发器与网卡之间用AUI电缆相连。

(3)网卡必须有AUI接口（15针D型接口）：每段500米，100个用户，4个中继器可达2500米，收发器之间最小25米，收发器电缆最大50米。

细缆：与BNC网卡相连，两端装50欧的终端电阻。用T型头，T型头之间最小05米。细缆网络每段干线长度最大为185米，每段干线最多接入30个用户。如采用4个中继器连接5个网段，网络最大距离可达925米。

细缆安装较容易，造价较低，但日常维护不方便，一旦一个用户出故障，便会影响其他用户的正常工作。

根据传输频带的不同，可分为基带同轴电缆和宽带同轴电缆两种类型：

基带：数字信号，信号占整个信道，同一时间内能传送一种信号。

宽带：可传送不同频率的信号。

三、光纤：是由一组光导纤维组成的用来传播光束的、细小而柔韧的传输介质。应用光学原理，由光发送机产生光束，将电信号变为光信号，再把光信号导入光纤，在另一端由光接收机接收光纤上传来的光信号，并把它变为电信号，经解码后再处理。与其它传输介质比较，光纤的电磁绝缘性能好、信号衰小、频带宽、传输速度快、传输距离大。主要用于要求传输距离较长、布线条件特殊的主干网连接。

分为单模光纤和多模光纤：

单模光纤：由激光作光源，仅有一条光通路，传输距离长，2千米以上。

多模光纤：由二极管发光，低速短距离，2千米以内。

Cute-FTP可以的

教程如下

1、什么是ftp

ftp是英文file transfer protocol(文件传输协议)的缩写。顾名思义，ftp就是专门用来传输文件的协议。工欲善其事，必先利其器。常在网上走，哪能不用ftp。有了ftp，你就可以迅速得到时髦的软件、游戏、在微软发布的当天使用上ie5、或者给你的主板显卡下载最新的驱动程序、给你的杀毒软件加载最新的病毒数据库……好处说也说不完。

2、常用的ftp软件

在很久很久以前的unix的系统上的ftp程序是基于命令行的，有点象dos的模样。现在的window95 /98/nt仍然有基于命令行的字符界面的ftp程序，供骨灰级的网虫练习他们的指法。命令行的ftp使用起来自然不方便，首先要掌握几十条命令不说，字符的屏幕上通常只能显示25或50行，如果文件的列表是一长串，没办法，你只能看到最后面的一些了。类似于windows的图形界面流行开之后，自然就有了图形界面的ftp程序。ws_ftp是其中资格比较老的一个，cuteftp相对年轻一些，而后来的bullet proof、leaf ftp、crysta l就属于比较前卫的了。另外，大部分浏览器，如ie、netscape也支持ftp协议。不过浏览器的ftp功能只是用来作为www的辅助，只能完成基本的 *** 作，不够专业。我们这里来介绍ftp程序的优秀软件——cute ftp。

3、认识Cute-FTP软件

首先，我们要安装CuteFTP，我这里用的是它的最新版CuteFTP 42，大家如果找不到这个版本，可以试着从CuteFTP的官方站点下载，或使用以前的版本，也没什么问题， *** 作都是类似的。按照软件提示一步步的安装，在安装中软件会提示您是否安装CuteHTML，您可以依照爱好选择，CuteHTML是一款类似Ultra Edit的文本编辑器(见图1)。

　　开启CuteFTP后，软件会先d出一个类似帮助的Tip of the day文本对话框，如果你是第一次使用可以先按照提示看看(见图2)。

图1

图2

关掉Tip of the day后，会出现一个对话框，写着Site Manager， 里面会附上一些英文站点的资料，您可以自行加入常用的FTP站点地址。本文稍后介绍，按Exit关掉Site Manager(见图3)。

图3

　　关掉Site Manager后显示的是CuteFTP的工作视窗，共分四个区域，下面简单介绍一下它们:

　　上部区域：这里是FTP站点所显示的信息区，可以由这里知道目前连接的情形，例如该站给使用者的欢迎或者提示信息、是否支持断点续传、正在下载哪个文件、是否已经连接……。

　　下部左区域：这里显示的是你的硬盘要上传(Upload)及要下载(Download)的所在目录，未设定前默认显示的是CuteFTP的安装目录(如C:\Programs Files\GlobalSCAPE\cuteFTP)。当然，如果我们不想把下载下来的文件都放在这里(我们建议您明确分类、存放下载文件，不然以后对于数据备份和查找就变成一件非常困难的事情)，可以指定路径存放，稍候在下载中再说。

　　下部右区域：在这里显示的是FTP站点里面的目录和文件(比如文件名，大小，属性等我们都可以非常清楚的看见)。

　　底部区域：可以创建排程，一次准备好要上传或者下载的文件，减免上传下载过程中所造成的时间浪费(见图4)。

图4

4、使用Cute-FTP软件

好，熟悉完视窗，我们现在就把做好的网站传到网络的服务器上。

　　首先要确定你是否拥有可以上传的FTP服务器，在网上有许多能够提供FTP上传维护功能的免费个人主页站点，你要是没有的话，可以申请一个(未避广告嫌疑，我就不推荐了)。或是你花钱租用一个。你会得到相映的地址、名字、口令等参数，其次要保证你现在在线。(这就不用教了吧？)

　　先教你一个快速连接的方法，在工作视窗的顶部，有一个**的闪电标志(Quick Connect)，按下它，会d出一个浮动菜单，里面有URL、User、Name、Password、Port等几项设置。在这里你可以填上你所要上传的地址、用户名及密码(见图5)。

图5

填好后，按一下右侧的闪电标志(Connect)，就会在FTP站所显示的信息区里看见连接情况。

　　连接成功后，你会在下部右区域看见FTP站点里面的目录和文件。如图6所示，在我所登录的站点里，分为三个文件夹和若干文件。

图6

这时我打开下部左区域的路径菜单，找到本地硬盘上要上传的文件夹或文件，选中它们后用鼠标拖到服务器上相应的目录下(也可以使用工具栏上的相应快捷按钮)，或者新建一个文件夹(只要你权限够大)(见图7)。

图7

Cute-FTP工具软件的使用(二)

1、设置Cute-FTP

启动Cute-FTP软件后，首先出现的是“FTP Site Manager”窗口，我们需要在这个窗口中进行必要的设置后才能进入系统主窗口来执行文件的上传和下载。如图8所示，将鼠标移到『FTP sites』的地方，然后我们按下它下面的那一排按钮中的『Add sites』，告诉电脑我们要新增一个主机站（这个站就是我们要将网页上传的地方），如图9所示：

图8

图9

按下『Add sites』之后，我们便会 看到一个设置窗口，这个窗口主要是要让我们来设置我们要上传主机的详细资料，就以本站的例子来说好了，如图10所示：

图10

标号 1：这一格只是让你替服务器(就是你要放上网页的电脑主机啦!)取个名称罢了，随您怎么填都可以，像工友就自行取为『首页制作百宝箱』，下次再进入CuteFTP时，就直接选取『首页制作百宝箱』就可以直接连到该网页服务器器，直不需要再输入一堆繁杂的设置了。

标号 2：这一格非常重要，须填上服务器的所在位置，在这里，我们所用的服务器地址是『20219217519』。或许有人会问，那我到底要填上什么呢？这我也不知道，我怎么会知道您网页放在哪呢？如果您是线上申请的免费网址，那么该网站应该都会告诉您要上传到哪里 （也就是一连串的主机位置），不然，就问问让您放网页的服务器管理员吧！对了！在填的时候千万别加上ftp:// or http://这些都是无法执行的。

标号 3：通常连通主机后，服务器会询问您的帐号，这一格就填上您进入服务器的用户号即可。

标号 4：检查完帐号后就会要求输入密码，这一格就是要您填密码啦！注意喔！这里所谓的帐号密码是指『进入该服务器的帐号密码』而非，您拨接上网的帐号密码，通常服务器管理员都会通知您帐号密码是多少，要不然就是当初您在申请免费网址时自行设置的那一组帐号密码就是了。

标号 5：进入服务器方式设置，通常是『Normal』，也就是说需要帐号密码才进得去，如果选第二项就表示任何人都可以进去，那事情就大条啦！

标号 6：文件上传模式设置，选第三项『Auto-Detect』比较方便，它会自行探测文件类型做出最适合的上传方式。

标号 7：嗯这格我就较不了解 了反正选『Auto-Detect』这一项准没错。

标号 8：设置服务器端的路径，设不设都无所谓啦！有设的话，以后再进入时，就不用切换一堆路径，而可以直达你要上传的目录。所以要设置的话，先决条件是，您要知道您放网页的路径及目录。

标号 9：设置自己电脑的内部目录，像我就设置C:www，它只要一连通服务器，便会自行切换到C:www这目录，工友就可以不用在那里找目录而可以省下一些时间。

OK！设好按下确定之后，你应该可以看见刚刚设置的服务器名称出现在右上的窗口中，如图11所示，而它的下方会显现其网络位置如图12：

图11

图12

图13

看到之后便表示您设置成功了(但不代表你设置的值是正确的，要连得通才算数)，下次再执行CuteFTP时，就可以直接选这里来进入了，这样就不用再进行繁复的设置了。

最后一个步骤，按下『Connect』连接(如图13)，就行啦！接下来就是期待接通了！

2、连接服务器

接下来映入眼的就是整个CuteFTP的使用界面，上面是工具列，工具列下方是状态列，左下是自己电脑的目录，右下是服务器的目录。现在就先说说工具列：

这是左半段图标，其中顺数第二个为连接按钮。

这是右半段图标，其中顺数第三个和第四个即为下载和上传按钮。

整个画面看起来如图14：

图14

OK！进入最重要的主题：『如何上传文件』？？

首先，先确定已经连通服务器，这只要看看状态列就知道了，如上图的状态列所示，就是连通后的样子。

切换到适当目录。先看看左半区域窗口，这就是自己电脑的目录。例如你的所有网页文件都放在C:\WWW的目录下，所以，先要切换到C:\WWW目录中。

右半区域窗口中是你存放网页在服务器上的目录位置，例如你的网站是放在服务器的 newhd/home/tad/public_html/中，所以就在右半区域窗口中切换到你存放网页的目录。做完这两个动作，上传大业已经完成大半了！

接下来，回到左下窗口选取欲上传的文件(按住Shift键再选取文件可以连续选取多个文件，按住Ctrl键再选取文件可以选取多个不连续文件)，选取完后，按下工具列的『往上』键，就可以啦！如图15：

ftp软件有很多种，使用方法大同小异。同时，他还有下载的功能，你 可以利用这一点从服务器上下载软件，速度比其他方法快多了

另外请大家千万注意，如果需要编辑修改你的文件，你必须先将其下载到本地硬盘上才可进行修改，在服务器上是不能直接进行修改的。

3、评价

采用这种方法来登录FTP服务器，需要在客户端中安装相应的工具软件，Cute-FTP软件是一个老牌经典的FTP软件。

●使用方便，性能稳定，安全性好；

●上传和下载的速度比较快；

●支持断点续传，支持多线程工作；

●允许对整个目录的覆盖和删除，支持文件队列管理；

等等……

解释路由器的概念，首先得知道什么是路由。所谓“路由”，是指把数据从一个地方传送到另一个地方的行为和动作，而路由器，正是执行这种行为动作的机器，它的英文名称为Router,是一种连接多个网络或网段的网络设备，它能将不同网络或网段之间的数据信息进行“翻译”，以使它们能够相互“读懂”对方的数据，从而构成一个更大的网络。 简单的讲，路由器主要有以下几种功能： 第一，网络互连，路由器支持各种局域网和广域网接口，主要用于互连局域网和广域网，实现不同网络互相通信； 第二，数据处理，提供包括分组过滤、分组转发、优先级、复用、加密、压缩和防火墙等功能； 第三，网络管理，路由器提供包括配置管理、性能管理、容错管理和流量控制等功能。 为了完成“路由”的工作，在路由器中保存着各种传输路径的相关数据－－路由表（Routing Table），供路由选择时使用。路由表中保存着子网的标志信息、网上路由器的个数和下一个路由器的名字等内容。路由表可以是由系统管理员固定设置好的，也可以由系统动态修改，可以由路由器自动调整，也可以由主机控制。在路由器中涉及到两个有关地址的名字概念，那就是：静态路由表和动态路由表。由系统管理员事先设置好固定的路由表称之为静态（static）路由表，一般是在系统安装时就根据网络的配置情况预先设定的，它不会随未来网络结构的改变而改变。动态（Dynamic）路由表是路由器根据网络系统的运行情况而自动调整的路由表。路由器根据路由选择协议（Routing Protocol）提供的功能，自动学习和记忆网络运行情况，在需要时自动计算数据传输的最佳路径。 为了简单地说明路由器的工作原理，现在我们假设有这样一个简单的网络。如图所示，A、B、C、D四个网络通过路由器连接在一起。 见： http://publishit168com/cWord/images/137285jpg 现在我们来看一下在如图所示网络环境下路由器又是如何发挥其路由、数据转发作用的。现假设网络A中一个用户A1要向C网络中的C3用户发送一个请求信号时，信号传递的步骤如下： 第1步：用户A1将目的用户C3的地址C3，连同数据信息以数据帧的形式通过集线器或交换机以广播的形式发送给同一网络中的所有节点，当路由器A5端口侦听到这个地址后，分析得知所发目的节点不是本网段的，需要路由转发，就把数据帧接收下来。 第2步：路由器A5端口接收到用户A1的数据帧后，先从报头中取出目的用户C3的IP地址，并根据路由表计算出发往用户C3的最佳路径。因为从分析得知到C3的网络ID号与路由器的C5网络ID号相同，所以由路由器的A5端口直接发向路由器的C5端口应是信号传递的最佳途经。 第3步：路由器的C5端口再次取出目的用户C3的IP地址，找出C3的IP地址中的主机ID号，如果在网络中有交换机则可先发给交换机，由交换机根据MAC地址表找出具体的网络节点位置；如果没有交换机设备则根据其IP地址中的主机ID直接把数据帧发送给用户C3，这样一个完整的数据通信转发过程也完成了。 从上面可以看出，不管网络有多么复杂，路由器其实所作的工作就是这么几步，所以整个路由器的工作原理基本都差不多。当然在实际的网络中还远比上图所示的要复杂许多，实际的步骤也不会像上述那么简单，但总的过程是这样的。