有时候,Web服务器生成HTTP Response是无法在Header就确定消息大小的,这时一般来说服务器将不会提供Content-Length的头信息,而采用Chunked编码动态的提供body内容的长度。
进行Chunked编码传输的HTTP Response会在消息头部设置:
Transfer-Encoding: chunked
表示Content Body将用Chunked编码传输内容。
Chunked编码使用若干个Chunk串连而成,由一个标明长度为0的chunk标示结束。每个Chunk分为头部和正文两部分,头部内容指定下一段正文的字符总数(十六进制的数字)和数量单位(一般不写),正文部分就是指定长度的实际内容,两部分之间用回车换行(CRLF)隔开。在最后一个长度为0的Chunk中的内容是称为footer的内容,是一些附加的Header信息(通常可以直接忽略)。具体的Chunk编码格式如下:
Chunked-Body = *chunk
"0" CRLF
footer
CRLF
chunk = chunk-size [ chunk-ext ] CRLF
chunk-data CRLF
hex-no-zero = <HEX excluding "0">
chunk-size = hex-no-zero *HEX
chunk-ext = *( "" chunk-ext-name [ "=" chunk-ext-value ] )
chunk-ext-name = token
chunk-ext-val = token | quoted-string
chunk-data = chunk-size(OCTET)
footer = *entity-header
RFC文档中的Chunked解码过程如下:
length := 0
read chunk-size, chunk-ext (if any) and CRLF
while (chunk-size >0) {
read chunk-data and CRLF
append chunk-data to entity-body
length := length + chunk-size
read chunk-size and CRLF
}
read entity-header
while (entity-header not empty) {
append entity-header to existing header fields
read entity-header
}
Content-Length := length
Remove "chunked" from Transfer-Encoding
最后提供一段PHP版本的chunked解码代码:
$chunk_size = (integer)hexdec(fgets( $socket_fd, 4096 ) )
while(!feof($socket_fd) &&$chunk_size >) {
$bodyContent .= fread( $socket_fd, $chunk_size )
fread( $socket_fd, 2 )// skip \r\n
$chunk_size = (integer)hexdec(fgets( $socket_fd, 4096 ) )
}
要解决服务器不返回Transfer-Encoding:chunked,在客户端请求的时候可以使用http 1.0的协议。
在使用libcurl的时候,我采用的是http-parser.c进行数据解析,结果一直报chunked size不正确,于是开始了查问题的艰难旅程,原来服务器端采用的是 Transfer-Encoding: chunked 模式,这种模式是不返回content-length的,而我不知道为什么libcurl返回的数据包里没有包含chunked的开始和结束标志,这就导致http-parser解析失败,找到了问题,那就要想想解决办法了。
办法一:打算采用Connection:keep-alive的方法,结果发现这个是HTTP1.0的老办法,在HTTP1.1中已经不这么使用了,于是查找发现,libcurl在7.25.0之后提供了curl_easy_setopt(curl, CURLOPT_TCP_KEEPALIVE, 1L)这个方法,本想用这个试一下,结果发现,我的服务器版本是7.19.7,不能用,只得另觅方法。
办法二:也是在网上找到的答案,根据资料提示说,如果采用HTTP1.0和服务器通讯,那么服务器会放弃采用chunked的方式响应,抱着试一试的想法试了一下,curl_easy_setopt(curl, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_0)结果发现真的可行,最后也是采用这个办法。
办法三:使用curl_easy_setopt(curl, CURLOPT_HEADER, 0)设置这个参数后,libcurl不会返回header头,只返回body内容给用户,如果body内容是Json格式,那么就直接解析Json内容,不用解析Html内容了。
以上是查找问题的过程以及办法,希望对大家有所助益。
在J2ME的开发中,我遇到了一个问题,我的HTTP请求中没有Content-Length属性。而服务器端需要这个属性的值。首先说解决方法:
将程序中的flush语句去掉即可。
根据查询各方资料,我了解到:
一般情况下,HTTP请求头中会包含Content-length属性。它的值是发送的内容的长度。接收者(浏览器或者服务器端)会等内容全部传输完毕,再根据Content-Length值来取内容。但是,如果设了Transfer-Encoding为chunked,HTTP请求头中就不会有Content-Length属性了。因为Transfer-Encoding为chunked,就意味着,内容会被分成一块一块的发送,接收者也就不需要等到内容都传输完毕了才读取其中的内容。这种情况下,Content-Length是无法被计算出来,所以也就没有了这个属性。
有两种方法可以使得HTTP请求用chunked方式传输内容。
一种是设定Server的IO buffer长度让Server自动flush buffer中的内容。
另一种是手动的调用IO中的flush函数。如Java中用out.flush()
所以,如果你的HTTP请求用了chunked编码,而这并不是你想要的,那你就把程序中的flush语句去掉,应该就没有问题了。
这样处理了之后,在Eclipse下确实是没有问题了。但是一模一样的代码,在netbeans下还是chunked模式。
后来我将项目的 仿真器平台 换成了SUN公司的WTK。就没有问题了。这里的玄机我一时没有时间去研究。就这样先用着吧。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)