利用typeperf工具收集SQL Server性能数据[2]

si <[[hh:]mm:]ss> 示例间的时间 默认值是 秒

o <文件名> 输出文件或 SQL 数据库的路径 默认值为 STDOUT

q [object] 列出已安装的计数器(无范例) 要列出某个对象的计数器 包括对象名 如 Processor

qx [object] 列出已安装的计数器(带范例) 要列出某个对象的计数器 包括对象名 如 Processor

sc 要收集的示例数量 默认值为 在 CTRL+C 之前都进行采样

config <文件名> 含有命令选项的设置文件

s 在计数器路径中没有指定服务器的情况下要监视的服务器

y 不用提示对所有问题都回答 yes

使用typeperf的最终目标 是采用一种可重复的方式来捕捉性能数据 例如 指定您选择在一个批处理文件 执行特定 *** 作; 默认情况下该命令执行后 性能数据将输出到命令窗口 您也可以使用 f选项指定一个CSV文件(逗号分隔值) TSV文件(制表符分隔值)将性能数据输出到指定文件中

使用typeperf捕捉性能数据之前 我们需要明确哪些性能对象时可用的 采用以下两个选项 您可以获得指定的机器上的性能对象列表

q [object] 列出已安装的计数器(无范例) qx [object] 列出已安装的计数器(带范例) 在上述两个选项中 [object]是可选的参数 如果指定了该参数 将对对象列表进行过滤 默认是显示当前机器上的性能对象 你可以用 s 来指定其他的机器

输入以下命令可以获得SQL Server缓冲管理器对象的所有技术器列表

TYPEPERF q SQLServer:Buffer Manager

你可以看到类似以下的输出内容

\SQLServer:Buffer Manager\Buffer cache hit ratio \SQLServer:Buffer Manager\Page lookups/sec \SQLServer:Buffer Manager\Free list stalls/sec \SQLServer:Buffer Manager\Free pages \SQLServer:Buffer Manager\Total pages \SQLServer:Buffer Manager\Target pages \SQLServer:Buffer Manager\Database pages \SQLServer:Buffer Manager\Reserved pages \SQLServer:Buffer Manager\Stolen pages \SQLServer:Buffer Manager\Lazy writes/sec \SQLServer:Buffer Manager\Readahead pages/sec \SQLServer:Buffer Manager\Page reads/sec \SQLServer:Buffer Manager\Page writes/sec \SQLServer:Buffer Manager\Checkpoint pages/sec \SQLServer:Buffer Manager\AWE lookup maps/sec \SQLServer:Buffer Manager\AWE stolen maps/sec \SQLServer:Buffer Manager\AWE write maps/sec \SQLServer:Buffer Manager\AWE unmap calls/sec \SQLServer:Buffer Manager\AWE unmap pages/sec \SQLServer:Buffer Manager\Page life expectancy

lishixinzhi/Article/program/SQLServer/201311/22398

1、离线搜集工具：ETL

在数据仓库的语境下，ETL基本上便是数据搜集的代表，包括数据的提取(Extract)、转换(Transform)和加载(Load)。在转换的过程中，需求针对具体的事务场景对数据进行治理，例如进行不合法数据监测与过滤、格式转换与数据规范化、数据替换、确保数据完整性等。

2、实时搜集工具：Flume/Kafka

实时搜集首要用在考虑流处理的事务场景，比方，用于记录数据源的履行的各种 *** 作活动，比方网络监控的流量办理、金融运用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据搜集会成为Kafka的顾客，就像一个水坝一般将上游源源不断的数据拦截住，然后依据事务场景做对应的处理(例如去重、去噪、中心核算等)，之后再写入到对应的数据存储中。

3、互联网搜集工具：Crawler, DPI等

Scribe是Facebook开发的数据(日志)搜集体系。又被称为网页蜘蛛，网络机器人，是一种按照一定的规矩，自动地抓取万维网信息的程序或者脚本，它支持、音频、视频等文件或附件的搜集。

除了网络中包含的内容之外，关于网络流量的搜集能够运用DPI或DFI等带宽办理技术进行处理。

FTP（File Transfer Protocol）是文件传输协议的简称。
FTP的作用
正如其名所示：FTP的主要作用，就是让用户连接上一个远程计算机（这些计算机上运行着FTP服务器程序）察看远程计算机有哪些文件，然后把文件从远程计算机上拷到本地计算机，或把本地计算机的文件送到远程计算机去。
FTP工作原理
拿下传文件为例，当你启动FTP从远程计算机拷贝文件时，你事实上启动了两个程序：一个本地机上的FTP客户程序：它向FTP服务器提出拷贝文件的请求。另一个是启动在远程计算机的上的FTP服务器程序，它响应你的请求把你指定的文件传送到你的计算机中。FTP采用“客户机/服务器”方式，用户端要在自己的本地计算机上安装FTP客户程序。FTP客户程序有字符界面和图形界面两种。字符界面的FTP的命令复杂、繁多。图形界面的FTP客户程序， *** 作上要简洁方便的多。
简单地说，支持FTP协议的服务器就是FTP服务器，下面介绍一下什么是FTP协议（文件传输协议）
一般来说，用户联网的首要目的就是实现信息共享，文件传输是信息共享非常重要的一个内容之一。Internet上早期实现传输文件，并不是一件容易的事，我们知道 Internet是一个非常复杂的计算机环境，有PC，有工作站，有MAC，有大型机，据统计连接在Internet上的计算机已有上千万台，而这些计算机可能运行不同的 *** 作系统，有运行Unix的服务器，也有运行Dos、Windows的PC机和运行MacOS的苹果机等等，而各种 *** 作系统之间的文件交流问题，需要建立一个统一的文件传输协议，这就是所谓的FTP。基于不同的 *** 作系统有不同的FTP应用程序，而所有这些应用程序都遵守同一种协议，这样用户就可以把自己的文件传送给别人，或者从其它的用户环境中获得文件。
与大多数Internet服务一样，FTP也是一个客户机/服务器系统。用户通过一个支持FTP协议的客户机程序，连接到在远程主机上的FTP服务器程序。用户通过客户机程序向服务器程序发出命令，服务器程序执行用户所发出的命令，并将执行的结果返回到客户机。比如说，用户发出一条命令，要求服务器向用户传送某一个文件的一份拷贝，服务器会响应这条命令，将指定文件送至用户的机器上。客户机程序代表用户接收到这个文件，将其存放在用户目录中。
在FTP的使用当中，用户经常遇到两个概念："下载"（Download）和"上载"（Upload）。"下载"文件就是从远程主机拷贝文件至自己的计算机上；"上载"文件就是将文件从自己的计算机中拷贝至远程主机上。用Internet语言来说，用户可通过客户机程序向（从）远程主机上载（下载）文件。
使用FTP时必须首先登录，在远程主机上获得相应的权限以后，方可上载或下载文件。也就是说，要想同哪一台计算机传送文件，就必须具有哪一台计算机的适当授权。换言之，除非有用户ID和口令，否则便无法传送文件。这种情况违背了Internet的开放性，Internet上的FTP主机何止千万，不可能要求每个用户在每一台主机上都拥有帐号。匿名FTP就是为解决这个问题而产生的。
匿名FTP是这样一种机制，用户可通过它连接到远程主机上，并从其下载文件，而无需成为其注册用户。系统管理员建立了一个特殊的用户ID，名为anonymous, Internet上的任何人在任何地方都可使用该用户ID。
通过FTP程序连接匿名FTP主机的方式同连接普通FTP主机的方式差不多，只是在要求提供用户标识ID时必须输入anonymous，该用户ID的口令可以是任意的字符串。习惯上，用自己的E-mail地址作为口令，使系统维护程序能够记录下来谁在存取这些文件。
值得注意的是，匿名FTP不适用于所有Internet主机，它只适用于那些提供了这项服务的主机。
当远程主机提供匿名FTP服务时，会指定某些目录向公众开放，允许匿名存取。系统中的其余目录则处于隐匿状态。作为一种安全措施，大多数匿名FTP主机都允许用户从其下载文件，而不允许用户向其上载文件，也就是说，用户可将匿名FTP主机上的所有文件全部拷贝到自己的机器上，但不能将自己机器上的任何一个文件拷贝至匿名FTP主机上。即使有些匿名FTP主机确实允许用户上载文件，用户也只能将文件上载至某一指定上载目录中。随后，系统管理员会去检查这些文件，他会将这些文件移至另一个公共下载目录中，供其他用户下载，利用这种方式，远程主机的用户得到了保护，避免了有人上载有问题的文件，如带病毒的文件。
作为一个Internet用户，可通过FTP在任何两台Internet主机之间拷贝文件。但是，实际上大多数人只有一个Internet帐户，FTP主要用于下载公共文件，例如共享软件、各公司技术支持文件等。 Internet上有成千上万台匿名FTP主机，这些主机上存放着数不清的文件，供用户免费拷贝。实际上，几乎所有类型的信息，所有类型的计算机程序都可以在Internet上找到。这是Internet吸引我们的重要原因之一。
匿名FTP使用户有机会存取到世界上最大的信息库，这个信息库是日积月累起来的，并且还在不断增长，永不关闭，涉及到几乎所有主题。而且，这一切是免费的。
匿名FTP是Internet网上发布软件的常用方法。Internet之所以能延续到今天，是因为人们使用通过标准协议提供标准服务的程序。像这样的程序，有许多就是通过匿名FTP发布的，任何人都可以存取它们。
Internet中的有数目巨大的匿名FTP主机以及更多的文件，那么到底怎样才能知道某一特定文件位于哪个匿名FTP主机上的那个目录中呢？这正是Archie服务器所要完成的工作。Archie将自动在FTP主机中进行搜索，构造一个包含全部文件目录信息的数据库，使你可以直接找到所需文件的位置信息。
FTP是一种上传和下载用的软件。
定义如下：FTP（File Transfer Protocal），是用于Internet上的控制文件的双向传输的协议。同时，它也是一个应用程序。用户可以通过它把自己的PC机与世界各地所有运行FTP协议的服务器相连，访问服务器上的大量程序和信息。
传输文件的一般步骤如下:
1在本地电脑上登陆到国际互联网,
2搜索有文件共享主机或者个人电脑(一般有专门的FTP服务器网站上公布的,上面有进入该主机或个人电脑的名称,口令和路径)
3当与远程主机或者对方的个人电脑建立连接后,用对方提供的用户名和口令登陆到该主机或对方的个人电脑
4在远程主机或对方的个人电脑登陆成功后,就可以上传你想跟别人分享的东东或者下载别人授权共享的东东(这里的东东是指能放到电脑里去又能在显示屏上看到的东东)
5完成工作后关闭FTP下载软件,切断连接
为了实现文件传输,用户还要运行专门的文件传输程序,比如网际快车就有这方面的功能,其它还有很多专门的FTP传输软件,各有各的特色
FTP协议：文件传输协议
FTP服务器：可以下载和上传文件的服务器。但是你必须拥有一定的权限才可以上传或者下载，这种服务器一般用于公司内部使用

第一步，新建一个txt格式的记事本文件。
第二步，在记事本文件中输入：DIR /B >LISTTXT
第三步，将此记事本文件后辍名，由txt改为bat。会d出重命名对话框，单击“是”。
第四步，双击文件“新建文本文档bat”即可生成listtxt文件。打开txt文件就可以看到当前文件夹内的所有文件名列表。（温馨提示：你也可以把文件“新建文本文档bat”放在其他文件夹里运行，获取当前文件夹下面的所有文件名哦！）
总结：本文的提取文件夹内文件名的方法，思路就是将文件保存到要提取文件名的目录下，保存为bat（为文件名），然后双击执行就OK了。这也是传送中的批处理命令。

Access数据库上传到服务器。 *** 作Access数据库流程显示，用sqlserver采集access数据库数据，读取的Access文件必须在服务器上，第一步是将Access数据库上传到服务器，然后再采集。用sqlserver是一种特殊目的的编程语言。

要想让“Hosts配置工具”发挥真正的作用，就必须更新下载最新版本的“数据文件”才行，这样才能获取最实用的网址信息。

首先点击“服务器”下拉列表，从中选择任意一个服务器，直到“连接”状态显示为“正常”。

待“服务器”连接状态显示“正常”后，点击“下载数据文件”按钮以更新下载最新的数据文件。

如果“数据文件”下载失败，则需要更换服务器，或者过段时间再尝试，直接下载数据文件成功为止。

通过多尝试更换几次服务器，或者过段时间再尝试下载数据文件，则可以正常获取数据文件，如图所示，数据文件正在更新下载中。

待“数据文件”下载完成后，从“功能列表”中勾选想要修复的“无法正常访问”的网站名或服务，点击“更改Hosts”按钮。

在确保Hosts文件已经备份的前题下，从d出的窗口中点击“Yes”按钮以更新当前Hosts文件内容。

如果一直显示无法从服务器获取最新的数据库文件，那么可以直接将小编所提供的最新数据库文件解压并覆盖“Hosts文件配置工具”目录下同名文件即可。

一、解压打开hoststoolexe
右键单击”hoststoolexe”后，在d出的菜单中选择”以管理员身份运行”，
二、获取hosts文件的最新版本
1选择服务器，Google code基本上被屏蔽了不能用，Sourceforge，Github基本可以用。IP协议选IPV4
2选择你要的服务(即功能列表选项)，默认即可。
3检查hosts更新文件，就是下载图标左边的那个符号。
4下载hosts文件(最好提前备份本机的hosts文件)，点右边那个箭头符号就是下载，条形码显示完毕即表示应经下载完成。
5、导出hosts文件(人形图标上那两个按钮 ，一个是导出的ansi、另一个是导出utf8编码的，选择一个即可)
三、替换hosts文件
一种简单的方法按下图步骤替换即可。按下更新hosts文件图标即可，软件会自动替换。
还有一种方法是手动替换：把刚才导出的那个hosts 文件替换本机的hosts文件。hosts文件在Windows7中的位置：C:\Windows\System32\drivers\etc,可能在不同 *** 作系统hosts位置都不一样。
替换完毕，点击退出即可。

最近对公司的通道机账号进行改造管理，全面的更加深入的理解了公司账号管理的架构。（注：基本上所有的机器上的ssh不能使用，只有部分机器能够使用。为了安全的角度考虑，安装的不是公版的ssh，而都是定制版的ssh，（限制了机器上的源IP地址即可））。

自动化管理服务器，有两种方法：

第一种方法，是我们公司自己开发的（服务器大概是3W台），基本上服务器之间不能够通过ssh互相连通，只能是一台服务器能够连到所有的服务器上，这台服务器我们称之为通道机（也叫堡垒机），当我们想登某台服务器的时候，需要先登上这台通道机，然后经过一系列的验证之后，就能自动的登上你要登到的服务器上。

并且我们自己开发了一套叫做通道机API的方式，来管理3W台服务器，比如收集各台服务器的信息等。其这个API的本质就是使用的是POST的方式将命令post到目标机上，然后返回结果进行处理即可。这是一个大概的思想。

第二种方法，就是使用ssh的协议进行管理，使用python的paramiko来进行管理，下面会进行介绍：

有一些想法，可以使用python的paramiko模块来进行管理名下服务器，前提是能够ssh到各个服务器上。

下面对这个paramiko的模块做个简单的介绍和分享：

1简介：

paramiko是用python语言写的一个模块，遵循SSH2协议，支持以加密和认证的方式，进行远程服务器的连接。

由于使用的是python这样的能够跨平台运行的语言，所以所有python支持的平台，如Linux, Solaris, BSD, MacOS X, Windows等，paramiko都可以支持，因此，如果

需要使用SSH从一个平台连接到另外一个平台，进行一系列的 *** 作时，paramiko是最佳工具之一。

举个常见的例子，现有这样的需求：需要使用windows客户端，远程连接到Linux服务器，查看上面的日志状态，大家通常使用的方法会是：

1：用telnet

2：用PUTTY

3：用WinSCP

4：用XManager等…

那现在如果需求又增加一条，要从服务器上下载文件，该怎么办？那常用的办法可能会是：

1：Linux上安装FTP并配置

2：Linux上安装Sambe并配置…

大家会发现，常见的解决方法都会需要对远程服务器必要的配置，如果远程服务器只有一两台还好说，如果有N台，还需要逐台进行配置，或者需要使用代码进行以上 *** 作

时，上面的办法就不太方便了。

使用paramiko可以很好的解决以上问题，比起前面的方法，它仅需要在本地上安装相应的软件（python以及PyCrypto），对远程服务器没有配置要求，对于连接多台服

务器，进行复杂的连接 *** 作特别有帮助。

2使用的几个简单的案例：

下面是两种使用paramiko连接到linux服务器的代码：

方式一：

1 ssh = paramikoSSHClient()2 sshset_missing_host_key_policy(paramikoAutoAddPolicy())3 sshconnect("IP地址",22,"用户名","密码")

上面的第二行代码的作用是允许连接不在know_hosts文件中的主机。

方式二：

1 t = paramikoTransport(("IP地址","端口"))2 tconnect(username = “用户名”, password = “口令”)3 如果连接远程主机需要提供密钥，上面第二行代码可改成：4 tconnect(username = “用户名”, password = “口令”, hostkey=”密钥”)

3一些简单的例子：

如果linux服务器开放了22端口，在windows端，我们可以使用paramiko远程连接到该服务器，并执行任意命令，然后通过 print或其它方式得到该结果。

1 #!/usr/bin/python 2 import paramiko3  4 ssh = paramikoSSHClient()5 sshset_missing_host_key_policy(paramikoAutoAddPolicy())6 sshconnect("某IP地址",22,"用户名", "口令")7 stdin, stdout, stderr = sshexec_command("你的命令")8 print stdoutreadlines()9 sshclose()

其中的”你的命令”可以任意linux支持的命令，如一些常用的命令：

1 df：查看磁盘使用情况2 uptime：显示系统运行时间信息3 cat：显示某文件内容4 mv/cp/mkdir/rmdir:对文件或目录进行 *** 作5 /sbin/service/ xxxservice start/stop/restart：启动、停止、重启某服务6 netstat -ntl |grep 8080：查看8080端口的使用情况
7  或者 nc -zv localhost ：查看所有端口的使用情况
8 find / -name XXX：查找某文件9

这样一来，对于linux的任何 *** 作几乎都可以通过windows端完成，如果对该功能进行引申，还可以同时管理多台服务器。

4 从widnows端下载linux服务器上的文件

1 #!/usr/bin/python  2 import paramiko 3   4 t = paramikoTransport((“主机”,”端口”)) 5 tconnect(username = “用户名”, password = “口令”) 6 sftp = paramikoSFTPClientfrom_transport(t) 7 remotepath=’/var/log/systemlog’ 8 localpath=’/tmp/systemlog’ 9 sftpget(remotepath, localpath)10 tclose()

5从widnows端上传文件到linux服务器

1 #!/usr/bin/python  2 import paramiko 3  4 t = paramikoTransport((“主机”,”端口”)) 5 tconnect(username = “用户名”, password = “口令”) 6 sftp = paramikoSFTPClientfrom_transport(t) 7 remotepath=’/var/log/systemlog’ 8 localpath=’/tmp/systemlog’ 9 sftpput(localpath,remotepath)10 tclose()

---