基本 *** 作
和以前的HttpWebRequest相比,HttpClient更加简洁,下面就是一个下载www.baidu.com页面的示例:
string uri = "http://www.baidu.com/"
HttpClient client = new HttpClient()
string body = await client.GetStringAsync(uri)123
除GetStringAsync()之外,还有GetByteArrayAsync()、GetStreamAsync()、PostAsync ()、DeleteAsync()等函数,可用选择使用。
一个重要的特点就是: 所有的函数 *** 作都是异步的。
获取响应
最简单的函数是HttpClient.GetStringAsync(), 用这个函数的时候,调用 *** 作并不会阻塞,我们看不到HttpResponse的相关信息,如果需要看到Http响应的信息,可以用如下标准方式:
Product product = null
HttpResponseMessage response = await client.GetAsync(path)
if (response.IsSuccessStatusCode)
{
product = await response.Content.ReadAsAsync<Product>()
}
return productt
这里使用HttpResponseMessage.
(1) GET方法使用 HttpClient 需要以下 6 个步骤:
1. 创建 HttpClient 的实例
2. 创建某种连接方法的实例,在这里是GetMethod。在 GetMethod 的构造函数中传入待连接的地址
3. 调用第一步中创建好的实例的 execute 方法来执行第二步中创建好的 method 实例
4. 读 response
5. 释放连接。无论执行方法是否成功,都必须释放连接
6. 对得到后的内容进行处理
根据以上步骤,我们来编写用GET方法来取得某网页内容的代码。
大部分情况下 HttpClient 默认的构造函数已经足够使用。 HttpClient httpClient = new DefaultHttpClient()
创建GET方法的实例。在GET方法的构造函数中传入待连接的地址即可。用GetMethod将会自动处理转发过程,如果想要把自动处理转发过程去掉的话,可以调用方法setFollowRedirects(false)。 GetMethod getMethod = new GetMethod(".....")
调用实例httpClient的executeMethod方法来执行getMethod。由于是执行在网络上的程序,在运行executeMethod方法的时候,需要处理两个异常,分别是HttpException和IOException。引起第一种异常的原因主要可能是在构造getMethod的时候传入的协议不对,比如不小心将"http"写成"htp",或者服务器端返回的内容不正常等,并且该异常发生是不可恢复的;第二种异常一般是由于网络原因引起的异常,对于这种异常(IOException),HttpClient会根据你指定的恢复策略自动试着重新执行executeMethod方法。HttpClient的恢复策略可以自定义(通过实现接口HttpMethodRetryHandler来实现)。通过httpClient的方法setParameter设置你实现的恢复策略,本文中使用的是系统提供的默认恢复策略,该策略在碰到第二类异常的时候将自动重试3次。executeMethod返回值是一个整数,表示了执行该方法后服务器返回的状态码,该状态码能表示出该方法执行是否成功、需要认证或者页面发生了跳转(默认状态下GetMethod的实例是自动处理跳转的)等。 //设置成了默认的恢复策略,在发生异常时候将自动重试3次,在这里你也可以设置成自定义的恢复策略
getMethod.getParams( ).setParameter(HttpMethodParams.RETRY_HANDLER,
new DefaultHttpMethodRetryHandler())
//执行getMethod
int statusCode = client.executeMethod(getMethod)
if (statusCode != HttpStatus. SC_OK) {
System.err.println("Method failed: " + getMethod.getStatusLine())
}
在返回的状态码正确后,即可取得内容。取得目标地址的内容有三种方法:第一种,getResponseBody,该方法返回的是目标的二进制的byte流;第二种,getResponseBodyAsString,这个方法返回的是String类型,值得注意的是该方法返回的String的编码是根据系统默认的编码方式,所以返回的String值可能编码类型有误,在本文的"字符编码"部分中将对此做详细介绍;第三种,getResponseBodyAsStream,这个方法对于目标地址中有大量数据需要传输是最佳的。在这里我们使用了最简单的getResponseBody方法。 byte[] responseBody = method.getResponseBody()
释放连接。无论执行方法是否成功,都必须释放连接。 method.releaseConnection()
处理内容。在这一步中根据你的需要处理内容,在例子中只是简单的将内容打印到控制台。 System.out. println(new String(responseBody))
下面是程序的完整代码:
package test
import java.io.IOException
import org.apache.commons.httpclient.*
import org.apache.commons.httpclient.methods.GetMethod
import org.apache.commons.httpclient.params.HttpMethodParams
public class GetSample{
public static void main(String[] args) {
//构造HttpClient的实例
HttpClient httpClient = new DefaultHttpClient()
//创建GET方法的实例
GetMethod getMethod = new GetMethod("...")
//使用系统提供的默认的恢复策略
getMethod.getParams().setParameter( HttpMethodParams.RETRY_HANDLER,
new DefaultHttpMethodRetryHandler( ))
try {
//执行getMethod
int statusCode = httpClient.executeMethod(getMethod)
if (statusCode != HttpStatus. SC_OK) {
System.err.println("Method failed: "
+ getMethod.getStatusLine())
}
//读取内容
byte[] responseBody = getMethod.getResponseBody()
//处理内容
System.out.println (new String(responseBody))
} catch (HttpException e) {
//发生致命的异常,可能是协议不对或者返回的内容有问题
System.out.println("Please check your provided http address!")
e.printStackTrace()
} catch (IOException e) {
//发生网络异常
e.printStackTrace()
} finally {
//释放连接
getMethod.releaseConnection()
}
}
}
(2)POST方法
根据RFC2616,对POST的解释如下:POST方法用来向目的服务器发出请求,要求它接受被附在请求后的实体,并把它当作请求队列(Request-Line)中请求URI所指定资源的附加新子项。POST被设计成用统一的方法实现下列功能:
对现有资源的注释(Annotation of existing resources)
向电子公告栏、新闻组,邮件列表或类似讨论组发送消息
提交数据块,如将表单的结果提交给数据处理过程
通过附加 *** 作来扩展数据库
调用HttpClient中的PostMethod与GetMethod类似,除了设置PostMethod的实例与GetMethod有些不同之外,剩下的步骤都差不多。在下面的例子中,省去了与GetMethod相同的步骤,只说明与上面不同的地方,并以登录清华大学BBS为例子进行说明。
构造PostMethod之前的步骤都相同,与GetMethod一样,构造PostMethod也需要一个URI参数。在创建了PostMethod的实例之后,需要给method实例填充表单的值,在BBS的登录表单中需要有两个域,第一个是用户名(域名叫id),第二个是密码(域名叫passwd)。表单中的域用类NameValuePair来表示,该类的构造函数第一个参数是域名,第二参数是该域的值;将表单所有的值设置到PostMethod中用方法setRequestBody。另外由于BBS登录成功后会转向另外一个页面,但是HttpClient对于要求接受后继服务的请求,比如POST和PUT,不支持自动转发,因此需要自己对页面转向做处理。具体的页面转向处理请参见下面的"自动转向"部分。代码如下:
String url = "...."
PostMethod postMethod = new PostMethod(url)
// 填入各个表单域的值
NameValuePair[] data = { new NameValuePair("id", "yourUserName"),
new NameValuePair("passwd", "yourPwd") }
// 将表单的值放入postMethod中
postMethod.setRequestBody(data)
// 执行postMethod
int statusCode = httpClient.executeMethod(postMethod)
// HttpClient对于要求接受后继服务的请求,象POST和PUT等不能自动处理转发
// 301或者302
if (statusCode == HttpStatus SC_MOVED_PERMANENTLY ||
statusCode == HttpStatus SC_MOVED_TEMPORARILY) {
// 从头中取出转向的地址
Header locationHeader = postMethod.getResponseHeader("location")
String location = null
if (locationHeader != null) {
location = locationHeader.getValue()
System.out.println("The page was redirected to:" + location)
} else {
System.err.println("Location field value is null.")
}
return
}
连接池是为了复用连接而存在的,就像线程池一样,创建了的线程在执行完成任务后不销毁,而是放入池中待命,以便执行下次任务的时候可以直接从池中取出线程执行,而不是先创建线程再执行,省去了创建线程带来的开销和时间。http连接也是一样的思路,http1.1支持了 keep-alive ,我们再对同一个网址进行请求的时候,就可以不用每次都建立连接;我们都知道,http建立连接的过程是比较繁琐的,要经历3次握手和4次挥手,那么省去这个建立连接的过程在高并发的时候就会比较的有必要;同时,类似线程池,总有一个最大的线程数,和线程失效时间,因为在任务空闲的时候,这些空闲线程占用系统资源,所以我们要释放空闲时间长的线程。同样对于http连接,使用的是tcp的长连接,但是长连接的持有是非常耗资源的,特别是对于服务端,链接数是有限的,所以我们同样需要释放一定时间空闲的连接;
对自己的系统有正确的预估:
httpclient给我们提供了 PoolingHttpClientConnectionManager 这个类帮助我们来管理连接(版本4.5及以上)。在我们使用httpclient的时候,如果配置了这个连接管理,那么就会通过这个来按host管理连接;
还是一样,最简单的用法先来一个使用单例的:
这样每次要使用http请求的时候,从这个工具中获取客户端来使用
为什么要使用单例呢?其实直接 HttpClients.custom().setDefaultRequestConfig(requestConfig).build()同样也是使用了连接池的,可以看build中的源码,没有设置manager的时候默认有一个。既然要管理连接池,那么这个管理器就只能有一个,不然管理就乱了,所以我们在使用的时候,只需要要一个 CloseableHttpClient ,这个client配置一个连接池的管理,每次使用都去找他才能达到连接管理的目的,否则这样写:
每次使用的时候都新建一个客户端,每个客户端是独立的,这样的话每次使用都完全是从头来一次。就好像使用线程池的时候,每次都是一个新的ExecutorService。
的确我见过人家配置了一堆的东西:
对于第三点,当我看到人家自己实现的定时检测任务的时候,我就在想,一个成熟的框架,人家不知至于想不到这点,那么就去看看它到底有没有做这件事。果然,框架的确考虑到了,但是这个默认没有开启,先看源码:在类 HttpClientBuilder 中
可以看到,在 evictExpiredConnections 或者 evictIdleConnections 其中一个属性是true的时候,就会开启定时检测关闭连接的任务,那么我们就可以使用这样的方式来开启它:
关于这些东西的使用,官方文档也有描述,但是描述的时候,他不会和你解释为什么,所以有的时候,看看源码就能理解它为什么要这样做以及他是如何做到这些的,httpclient的配置可不止这些,如果使用的话可以先看看它有没有帮我们实现,没有的话再去自己做;
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)