这一天终于到来了。你现在可以逐字地告诉你的计算机运行一个报告,阅读一封信或者播放一首歌曲。本文将介绍如何利用Agent的文字到语言的转换功能。你将学会如何扩展VBA使其包括ActiveX,如何编写一个调用Agent来大声朗读活动Word文档的应用程序。
与包括Microsoft Office Assistant 在内的任何前辈都不相同,Microsoft Agent 1.5使用多个角色--Genie, Merlin, 和 Robby(见图1)--来提供人/机接口。每个角色都经过三维处理,并具有一套独特的卡通制作。
Agent的 第一个使命:仅仅露一面
在第一个项目中,我们将编写一个测试过程来证实Agent极其组件已被正确安装。第一次,我们不要求太多的东西;仅仅需要Agent露一面说几句话即可。我们将使用Genie来测试运行。
首先启动Microsoft Word 97,通过按住AL!(或选择Tools | Macro | Visual Basic Editor)来激活Visual Basic Editor。下一步,单击Project Explorer,或按Cr。该 *** 作将为你提供一个列表,里面包含了你已经打开的所有项目。请选中Normal项目(关于Normal的更为详细的信息,请参阅第5页的"Normal模板")。
创建表单。通过从Project Explorer或菜单中选择Insert | UserForm来插入一个表单。通过在Properties窗口中改变如下属性来修改UserFform(为了显示Properties窗口,可能需要按4键)。
Caption: Agent Control Form
Width: 100
Height: 85
在表单上放置两个CommandButtons。然后将它们的Caption属性改为Start Agent和Stop Agent,以便它们可以在图2中出现。
控制和引用。对于每个新项目,向DLL和OCX添加包含有过程、方法和你正在引用的其他代码的引用是十分重要的。选中Tools | References来激活References对话框。向下滚动,并选中Microsoft Agent Control 1.5。
下一步,确认Toolbox已通过单击或从View | Toolbox菜单中选中而激活。通过选中Tools | Additional Controls来激活Additional Controls对话框;找到阅读Microsoft Agent Control 1.5的行,并单击它的复选框。完成之后,你将看到Agent图标位于Toolbox的下半部分(见图3)。
下一步,我们要编写可以使Genie出现和消失的子程序。首先请单击顶部标签为Start Agent的按钮。你将看到Visual Basic IDE已经启动了CommandButton1_Click子程序。向顶部滚动,输入如下的语句:
Const DATAPATH = _
"C:\Program Files\Microsoft Agent\Characters\genie.acs"
Dim Genie As IAgentCtlCharacter
Dim SpeakString As String
图4中列出了全部的代码。这些语句声明了必要的变量和常量。Microsoft建议在所列出的目录中安装Agent角色文件(ACS文件),但你也可以将它们放在其他地方--只要你为DATAPATH常量输入了正确的路径即可。
Option Explicit
Const DATAPATH = _
"C:\Program Files\Microsoft Agent\Characters\genie.acs"
Dim Genie As IAgentCtlCharacter
Private Sub UserForm_Activate()
Agent1.Characters.Load "Genie", DATAPATH
Set Genie = Agent1.Characters("Genie")
End Sub
Private Sub CommandButton1_Click()
Genie.Show
Genie.MoveTo 100, 100
Genie.Speak "My name is Genie. Your wish is my command."
End Sub
Private Sub CommandButton2_Click()
Genie.MoveTo 350, 250
Genie.Hide
End Sub
Private Sub UserForm_Deactivate()
Set Genie = Nothing
End Sub
图4 本代码阐述了基本的Genie控制
当UserForm被激活的时候,可以创建如下将被执行的代码:
Private Sub UserForm_Activate()
现在我们通知Agent对象将Genie 角色加载到它的Characters集合之中,这样我们就可以访问它了:
Agent1.Characters.Load "Genie", DATAPATH
下一步,使用Set语句来简化后面的代码:
Set Genie = Agent1.Characters("Genie")
这不是必需的,但以后的语句需要精心编制。例如,需要如下语句来显示Agent:
Agent1.Characters("Genie").Show
这样则更加直接:
Genie.Show
下一行为SpeakString变量赋了一个值。在本例中,我们通知Microsoft Agent介绍它自己,然后为语音识别输入做准备(在本例中,我们不为该部分编写代码)。
SpeakString = "My name is Genie. Your wish is my command."
让我们通过调用Genie并让它朗读SpeakString的值来完成代码。我们将编写CommandButton1_Click子程序来完成该项任务。Show是用来让用户可以看见Genie的命令,Speak将触发Microsoft的文字到语音转换工具朗读在它前面的文字。
Private Sub CommandButton1_Click()
Genie.Show
Genie.Speak SpeakString
End Sub
CommandButton2_Click子程序将把Genie隐藏起来。
Private Sub CommandButton2_Click()
Genie.Hide
End Sub
最后,完成之后,我们必须通过使用如下语句来销毁Agent对象:
Private Sub UserForm_Deactivate()
Set Genie = Nothing
End Sub
现在你就可以准备启动Agent了。通过单击Run按钮,或按5键来测试一下,看看你的计算机是否已被正确设置了。该 *** 作将激活这个表单,Agent服务器将在加载表单的时候初始化,在用户退出表单的时候销毁。当按下Start Agent按钮的时候,Genie将出现并说:"My name is Genie. Your wish is my command."(如图5所示)。它将在按下Stop Agent的时候消失。
因为我们正在从模型对话框中 *** 作Agent,所以这种实现并不是非常现实的,尽管它完全可用于示范或开发。下一步,我们将做一些更加有用的工作;我们将把Agent融入Word 97,并让Robby为我们朗读。
Agent'的第二个使命:为我朗读
目标是在Word 97中放置一个按钮,当按下它的时候,将调用将要大声朗读活动文档的Agent--这是从另一个侧面了解你的作品的好方法。
让我们从字符路径常量的声明开始:
Const ROBBYPATH = _
"C:\Program Files\Microsoft Agent\Characters\robby.acs"
用于Agent 和角色的变量为:
Dim MSAgent As Agent
Dim Char As Object
像以前一样,然后我们使用New关键字来创建一个Agent对象:
Set MSAgent = New Agent
在创建完Agent对象之后,我们必须启动Agent ActiveX服务器。为了实现这一点,我们将Agent对象的Connected属性设置为True:
MSAgent.Connected = True
然后,我们加载字符并将它分配给Object变量:
MSAgent.Characters.Load "Robby", ROBBYPATH
Set Char = MSAgent.Characters("Robby")
准备工作就做完了。现在该轮到我们的Agent表现了。
He walk…
控制Agent的屏幕行为是很简单的。大部分 *** 作可以通过使用Character对象的Play函数来实现。Play函数有一个参数--一个由Animation字符串组成的字符串。例如,如下语句将导致Robby 挥手致意:
Char.Play "Wave"
而如下语句将导致他向右移动(Robby使用一个黑色背包移动):
Char.Play "MoveRight"
图6列出了一个用于Robby的Animation字符串的小子集,而图7到11则显示了其中的几个。正如你所看到的,Robby可以做很多动作。可提供的Animation字符串随角色的不同而不同,因此你需要获得有关每个你想使用的角色的资料。例如,在用于Robby 的Microsoft Agent Animations中,Robby有94个Animation字符串。
Animation描述
Acknowledge Nods head
Alert Straightens and raises eyebrows
Announce Prints output and reads
Blink Blinks eyes
Declines Raises hands and shakes head
DontRecognise Holds hand to ear
GestureLeft Gestures to the left
GestureRight Gestures to the right
GetAttention Raises and shakes arms
GlanceLeft Looks left briefly
GlanceRight Looks right briefly
Hear_1 Turns head left
Idle2_1 Crosses arms
Idle2_2 Removes head and makes adjustment
LookLeft Looks to the left
MoveUp Flies up
Processing Presses buttons in looping animation
Reading Reads in looping animation
Sad Makes sad expression
Searching Looks through toolbox in looping animation
Think Tilts head and scratches
Wave Waves
Write Takes out clipboard, writes and looks up
图6 为Robby角色选择Animation字符串的子集:共有94个
不过,使用Play,Robby将保留在相同的屏幕位置里。为了实际上在屏幕周围移动Agent,你可以使用Character对象的MoveTo过程,该过程有两个参数--x和 y屏幕坐标。下面是一个例子:
Char.MoveTo 200, 300
如果你想让角色仍然移动到屏幕之上,可以在调用Show之后使用MoveTo;在第一次引用时,如果你想让角色出现在特定的位置,可以在调用Show之前使用MoveTo来放置Agent。既然我们已经知道如何创建Agent手势以及如何移动它,那么就让我们使Robby说话吧。
He Talks...
让Robby说话也是很简单的;只需使用Character对象的Speak函数即可。Speak函数有一个参数--将要朗读的文字。文字可以有几种形式,包括文字串、文本文件或URL。在我们的例子中,我们想让Agent朗读一个Word文档,因此我们使用如下的语句:
Char.Speak ActiveDocument.Content
如果你做过任何Word 97 VBA编程,那么就会明白ActiveDocument.Content指的是ActiveDocument属性的Content属性,换句话说,就是当前选定的Word文档的主体文字。这条语句将导致Robby在文字气球中显示相关的文字的同时,大声朗读文档。多棒啊!
这条独立的语句是可以工作的,但是我们可以做得更好。步骤如下:
Char.Play "Read"
Char.Speak ActiveDocument.Content
Char.Play "Readreturn"
这几条语句将导致Robby从它的胸部打印出一些输出,在完成之后释放文档,以及在实际朗读之前开始阅读。"ReadReturn" Animation将导致Robby返回,在阅读之后停在中间位置。许多动画都与"...Return"动画相关联,因此可以做到动作之间的平滑转换。
现在,让我们将所学到的东西融合在一起,为Robby将要完成的一个短的动作序列编写脚本。我们将把它放在一个脚本之中,以便可以从Word 97中调用它,如图12所示。
Option Explicit
Const ROBBYPATH =
"C:\Program Files\Microsoft Agent\Characters\robby.acs"
Dim MSAgent As Agent
Dim Char As Object
Sub Speak()
Set MSAgent = New Agent
MSAgent.Connected = True
MSAgent.Characters.Load "Robby", ROBBYPATH
Set Char = MSAgent.Characters("Robby")
With Char
.Top = 125
.Left = 185
.Show
.Play "Greet"
.Play "GreetReturn"
.MoveTo 600, 400
.Play "Read"
.Speak ActiveDocument.Content
.Play "ReadReturn"
.Play "Idle2_2"
.Play "Wave"
.Play "WaveReturn"
.Hide
End With
End Sub
图12 VBA代码让Robby在屏幕上特定的坐标位置出现,挥手致意说喂,飞向屏幕的右下角,朗读活动的Word 97文档,完成调整,挥手致意说再见,和消失。
下一步,我们必须在Word中做一点工作。
He Crawls on His Belly Like a Reptile
为了将新的宏与自定义的工具栏关联起来,请选择View | Toolbars | Customize来显示Customize对话框。单击New按钮。为新工具栏取名为"Agent",使其可以提供给Normal.dot。这个工具栏现在就可以使用了。在Customize对话框中,单击Commands页并选中Macros。 Normal.NewMacros.Speak宏现在就应该可以使用了;将它拖向工具栏,然后在I光出现之后释放它。右击该按钮,将它的名字改为"Read",如果你喜欢的话,还可以为它提供一个图标。
通过返回到Customize对话框并再次选中该对象可以从菜单中调用新宏。这次,将它拖向Tools菜单(但不让它走)。这个菜单将打开并滚向底部。当你在自己希望的位置看到I光线之后,释放按钮。可以按照与以前相同的方式改变菜单项的属性--通过右击。
结论
我们已经介绍了Microsoft Agent的基础知识,并且列出了你探索Agent的潜力所需要的软件和硬件。然后我们继续利用Agent的语音功能来实现一个有用的Word宏来大声朗读文档。
记住Agent可以作为ActiveX提供也是十分重要的。这就意味着它可以使Web站点更加充满活力。例如,你可以访问位于http://www.argolink.com/agent/merlinscorner/druidxicon.html (见图13)的Argo Technologie的Web站点。你还可以从Microsoft的 Agent页(当你探索Microsoft Agents的时候,将对这个页面十分熟悉)链向它和其他启用了Agent的站点。
图13 你可以在Argo Technologies站点的Web上看到Microsoft Agent在运行
图14 了解这个站点;正在用有价值的工具和信息加载
本文仅仅涉及到了一些表面的知识。Microsoft Agent是一项主要的技术(光Programming the Microsoft Agent Control文档就有75页!),因此在熟练之前,你将需要花上一段时间。好消息是,你将体会到很多乐趣。
本文中所引用的文件可以从Informant Web站点下载,网址为:http://www.informant.com/mod/modnewupl.htm.:文件名为 MOD9801SL.ZIP。
using Systemusing System.Collections.Generic
using System.ComponentModel
using System.Data
using System.Drawing
using System.Text
using System.Windows.Forms
using AgentObjects
using AxAgentObjects
namespace 程序设置
{
public partial class Form_Agent : Form
{
public Form_Agent()
{
InitializeComponent()
}
IAgentCtlCharacterEx MyWizard
AxAgent axAgent1=new AxAgent()
private void button3_Click(object sender, EventArgs e) //预览精灵
{
string Name = comboBox1.SelectedItem.ToString() //得到精灵名称
//根据用户的选择导入精灵
try
{
switch (Name)
{//导入具体的精灵
case "Genie":
axAgent1.Characters.Load("Genie", (object)"GENIE.ACS")
MyWizard = axAgent1.Characters["Genie"]
break
case "Merlin":
axAgent1.Characters.Load("Merlin", (object)"MERLIN.ACS")//我系统里好象只有C://WINDOWS//msagent/ars//MERLIN.ACS
MyWizard = axAgent1.Characters["Merlin"]
break
case "Peedy":
axAgent1.Characters.Load("Peedy", (object)"PEEDY.ACS")
MyWizard = axAgent1.Characters["Peedy"]
break
case "Robby":
axAgent1.Characters.Load("Robby", (object)"ROBBY.ACS")
MyWizard = axAgent1.Characters["Robby"]
break
}
MyWizard.Show(null) //显示精灵
}
catch (Exception ex)
{
MessageBox.Show(ex.Message)
}
}
private void button1_Click(object sender, EventArgs e) //使用精灵
{
button3_Click(null, null)
this.Visible = false //隐藏程序
this.MyWizard.Hide(null) //隐藏精灵
int i = Convert.ToInt32(this.textBox2.Text) * 60 * 1000//确定隐藏时间
System.Threading.Thread.Sleep(i) //设置间隔时间
this.MyWizard.Show(null) //显示精灵
string TipInfo = this.textBox1.Text
MyWizard.Speak(TipInfo, null) //精灵说话
}
private void button2_Click(object sender, EventArgs e)
{
this.Close()//关闭程序
}
private void axAgent1_DblClick(object sender, _AgentEvents_DblClickEvent e)
{
this.Visible = true//显示精灵配置窗口
}
}
}
1. 大数据专业课程有哪些
首先我们要了解Java语言和Linux *** 作系统,这两个是学习大数据的基础,学习的顺序不分前后。
Java :只要了解一些基础即可,做大数据不需要很深的Java 技术,学java SE 就相当于有学习大数据。基础
Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
好说完基础了,再说说还需要学习哪些大数据技术,可以按我写的顺序学下去。
Hadoop:这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN,HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapRece是对数据进行处理计算的,它有个特点就是不管多大的数据只要给它时间它就能把数据跑完,但是时间可能不是很快所以它叫数据的批处理。
记住学到这里可以作为你学大数据的一个节点。
Zookeeper:这是个万金油,安装Hadoop的HA的时候就会用到它,以后的Hbase也会用到它。它一般用来存放一些相互协作的信息,这些信息比较小一般不会超过1M,都是使用它的软件对它有依赖,对于我们个人来讲只需要把它安装正确,让它正常的run起来就可以了。
Mysql:我们学习完大数据的处理了,接下来学习学习小数据的处理工具mysql数据库,因为一会装hive的时候要用到,mysql需要掌握到什么层度那?你能在Linux上把它安装好,运行起来,会配置简单的权限,修改root的密码,创建数据库。这里主要的是学习SQL的语法,因为hive的语法和这个非常相似。
Sqoop:这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个,直接把Mysql数据表导出成文件再放到HDFS上也是一样的,当然生产环境中使用要注意Mysql的压力。
Hive:这个东西对于会SQL语法的来说就是神器,它能让你处理大数据变的很简单,不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie:既然学会Hive了,我相信你一定需要这个东西,它可以帮你管理你的Hive或者MapRece、Spark脚本,还能检查你的程序是否执行正确,出错了给你发报警并能帮你重试程序,最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的,不然你看着那一大堆脚本,和密密麻麻的crond是不是有种想屎的感觉。
Hbase:这是Hadoop生态体系中的NOSQL数据库,他的数据是按照key和value的形式存储的并且key是唯一的,所以它能用来做数据的排重,它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka:这是个比较好用的队列工具,队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理,这样与你协作的其它同学不会叫起来,你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来,你别怪他因为他不是搞大数据的,你可以跟他讲我把数据放在队列里你使用的时候一个个拿,这样他就不在抱怨了马上灰流流的去优化他的程序去了,因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS,这时你可以与一个叫Flume的工具配合使用,它是专门用来提供对数据进行简单处理,并写到各种数据接受方(比如Kafka)的。
Spark:它是用来弥补基于MapRece处理数据速度上的缺点,它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算,所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以 *** 作它,因为它们都是用JVM的。
2. hadoop视频教程下载
其实这个课程讲的“微博”项目是《HBase in action》中的例子。其中的源代码都放在 github 上面。
3. 请问哪位有《深入浅出Hadoop实战开发》的视频教程
Hadoop是什么,为什么要学习Hadoop?
Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。
Hadoop带有用Java 语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解,完全基于真实场景进行模拟现实
亮点一:技术点全面,体系完善
本课程在兼顾Hadoop课程知识体系完善的前提下,把实际开发中应用最多、最深、最实用的技术抽取出来,通过本课程,你将达到技术的新高点,进入云计算的美好世界。在技术方面你将彻底掌握基本的Hadoop集群;Hadoop HDFS原理;Hadoop HDFS基本的命令;Namenode的工作机制;HDFS基本配置管理;MapRece原理; HBase的系统架构;HBase的表结构;HBase如何使用MapRece;MapRece高级编程;split的实现详解;Hive入门;Hive结合MapRece;Hadoop的集群安装等众多知识点。
亮点二:基础+实战=应用,兼顾学与练
课程每阶段都安排了实战应用项目,以此方便学生能更快的掌握知识点的应用,如在第一阶段,课程结合HDFS应用,讲解了图片服务器的设计、以及如何利用Java API去对HDFS *** 作、在第二阶段课程结合HBase实现微博项目的各种功能,使学员可以活学活用。在第三阶段:HBase和MapRece结合时下了实现话单查询与统计系统,在第四阶段,Hive实战部分,通过实战数据统计系统,使学员在最短的时间内掌握Hive的高级应用。
亮点三:讲师丰富的电信集团云平台运作经验
讲师robby拥有丰富的电信集团工作经验,目前负责云平台的各方面工作,并拥有多年的企业内部培训经验。讲课内容完全贴近企业需求,绝不纸上谈兵。
更多技术亮点参考课程大纲:(本大纲以章节形式命名要为防止某些章节1章节内容超过1课时)
第1章节:
>Hadoop背景
>HDFS设计目标
>HDFS不适合的场景
>HDFS架构详尽分析
>MapRece的基本原理
第2章节
>Hadoop的版本介绍
>安装单机版Hadoop
>安装Hadoop集群
第3章节
>HDFS命令行基本 *** 作
>Namenode的工作机制
>HDFS基本配置管理
第4章节
>HDFS应用实战:图片服务器(1) - 系统设计
>应用的环境搭建 php + bootstrap + java
>使用Hadoop Java API实现向HDFS写入文件
第5章节
>HDFS应用实战:图片服务器(2)
>使用Hadoop Java API实现读取HDFS中的文件
>使用Hadoop Java API实现获取HDFS目录列表
>使用Hadoop Java API实现删除HDFS中的文件
第6章节
>MapRece的基本原理
>MapRece的运行过程
>搭建MapRece的java开发环境
>使用MapRece的java接口实现WordCount
第7章节
>WordCount运算过程分析
>MapRece的biner
>使用MapRece实现数据去重
>使用MapRece实现数据排序
>使用MapRece实现数据平均成绩计算
第8章节
>HBase详细介绍
>HBase的系统架构
>HBase的表结构,RowKey,列族和时间戳
>HBase中的Master,Region以及Region Server
第9章节
>使用HBase实现微博应用(1)
>用户注册,登陆和注销的设计
>搭建环境 struts2 + jsp + bootstrap + jquery + HBase Java API
>HBase和用户相关的表结构设计
>用户注册的实现
第10章节
>使用HBase实现微博应用(2)
>使用session实现用户登录和注销
>“关注"功能的设计
>“关注"功能的表结构设计
>“关注"功能的实现
第11章节
>使用HBase实现微博应用(3)
>“发微博"功能的设计
>“发微博"功能的表结构设计
>“发微博"功能的实现
>展现整个应用的运行
第12章节
>HBase与MapRece介绍
>HBase如何使用MapRece
第13章节
>HBase应用实战:话单查询与统计(1)
>应用的整体设计
>开发环境搭建
>表结构设计
第14章节
>HBase应用实战:话单查询与统计(2)
>话单入库单设计与实现
>话单查询的设计与实现
第15章节
>HBase应用实战:话单查询与统计(3)
>统计功能设计
>统计功能实现
第16章节
>深入MapRece(1)
>split的实现详解
>自定义输入的实现
>实例讲解
第17章节
>深入MapRece(2)
>Rece的partition
>实例讲解
第18章节
>Hive入门
>安装Hive
>使用Hive向HDFS存入结构化数据
>Hive的基本使用
第19章节
>使用MySql作为Hive的元数据库
>Hive结合MapRece
第20章节
>Hive应用实战:数据统计(1)
>应用设计,表结构设计
第21章节
>Hive应用实战:数据统计(2)
>数据录入与统计的实现
4. 哪个课程题库有hadoop的题
这是在一个平衡Hadoop集群中,为数据节点/任务追踪器提供的规格:
在一个磁盘阵列中要有12到24个1~4TB硬盘
2个频率为2~2.5GHz的四核、六核或八核CPU
64~512GB的内存
有保障的千兆或万兆以太网(存储密度越大,需要的网络吞吐量越高)
名字节点角色负责协调集群上的数据存储,作业追踪器协调数据处理(备用的名字节点不应与集群中的名字节点共存,并且运行在与之相同的硬件环境上。)。Cloudera客户购买在RAID1或10配置上有足够功率和级磁盘数的商用机器来运行名字节点和作业追踪器。
NameNode也会直接需要与群集中的数据块的数量成比列的RAM。一个好的但不精确的规则是对于存储在分布式文件系统里面的每一个1百万的数据块,分配1GB的NameNode内存。于在一个群集里面的100个DataNodes而言,NameNode上的64GB的RAM提供了足够的空间来保证群集的增长。我们也把HA同时配置在NameNode和JobTracker上,
这里就是为NameNode/JobTracker/Standby NameNode节点群的技术细节。驱动器的数量或多或少,将取决于冗余数量的需要。
4–6 1TB 硬盘驱动器 采用 一个 JBOD 配置 (1个用于OS, 2个用于文件系统映像[RAID 1], 1个用于Apache ZooKeeper, 1个用于Journal节点)
2 4-/16-/8-核心 CPUs, 至少运行于 2-2.5GHz
64-128GB 随机存储器
Bonded Gigabit 以太网卡 or 10Gigabit 以太网卡
记住, 在思想上,Hadoop 体系设计为用于一种并行环境。
5. 大数据的课程都有哪些
大数据本身属于交叉学科,涵盖计算机、统计学、数学三个学科的专业知识。所以大数据的课程内容,基本上也是围绕着三个学科展开的。
数理统计方面:数学分析、统计学习、高等代数、离散数学、概率与统计等课程是基本配置。
计算机专业课程:数据结构、数据科学、程序设计、算法分析与设计、数据计算智能、数据库系统、计算机系统基础、并行体系结构与编程、非结构化大数据分析等,也是必备课程。
而想要真正找到工作的话,大数据主流技术框架,也要去补充起来,这才是找工作当中能够获得竞争力的加分项。
6. hadoop 集群教程
要教程?不明白你这个啥意思
7. 有哪些好的hadoop学习资料
1."Hadoop.Operations.pdf.zip"//vdisk.weibo/s/vDOQs6xMAQH62
2."Hadoop权威指南(中文版)(带书签).pdf"Hadoop权威指南(中文版)(带书签).pdf
3."[Hadoop权威指南(第2版)].pdf"[Hadoop权威指南(第2版)].pdf
4."hadoop权威指南第3版2012.rar"hadoop权威指南第3版2012.rar
5.《Hadoop技术内幕:深入解析HadoopCommon和HDFS.pdf"《Hadoop技术内幕:深入解析Hadoop Common和HDFS.pdf
6."Hadoop技术内幕:深入解析MapRece架构设计与实现原理.pdf"Hadoop技术内幕:深入解析MapRece架构设计与实现原理.pdf
7."Hadoop实战.pdf"Hadoop实战.pdf
8."Hadoop实战-陆嘉恒(高清完整版).pdf"Hadoop实战-陆嘉恒(高清完整版).pdf
9."Hadoop实战(第2版).pdf"Hadoop实战(第2版).pdf
10."HadoopinAction.pdf"Hadoop in Action.pdf
11"Hadoop in practice.pdf"Hadoop in practice.pdf
12"HadoopThe.Definitive.Guide,3Ed.pdf"Hadoop The.Definitive.Guide,3Ed.pdf
13."O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf"O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf
14."hadoop入门实战手册.pdf"hadoop入门实战手册.pdf
15."Hadoop入门手册.chm"Hadoop入门手册.chm
16."windows下配置cygwin、hadoop等并运行maprece及maprece程序讲解.doc"windows下配置cygwin、hadoop等并运行maprece及maprece程序讲解.doc
17"在Windows上安装Hadoop教程.pdf"在Windows上安装Hadoop教程.pdf
18."Hadoop源代码分析(完整版).pdf"Hadoop源代码分析(完整版).pdf
19."hadoop-api.CHM"hadoop-api.CHM
20."HBase-Hadoop@小米.pptx" HBase-Hadoop@小米.pptx
21."但彬-Hadoop平台的大数据整合.pdf"但彬-Hadoop平台的大数据整合.pdf
22."QCon2013-罗李-Hadoop在阿里.pdf"QCon2013-罗李
23."网络hadoop计算技术发展.pdf"网络hadoop计算技术发展.pdf
24."QCon-吴威-基于Hadoop的海量数据平台.pdf"QCon-吴威-基于Hadoop的海量数据平台.pdf
25."8步安装好你的hadoop.docx"8步安装好你的hadoop.docx
26."hadoop运维经验分享.ppsx"hadoop运维经验分享.ppsx
27."PPT集萃:20位Hadoop专家分享大数据技术工具与最佳实践.rar"PPT集萃:20位Hadoop专家分享大数据技术工具与最佳实践.rar
28."Hadoop2.0基本架构和发展趋势.pdf"Hadoop 2.0基本架构和发展趋势.pdf
29."Hadoop与大数据技术大会PPT资料.rar"Hadoop与大数据技术大会PPT资料.rar
30."Hadoop2011云计算大会.rar"Hadoop2011云计算大会.rar
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)