Golang的坑之http读取大文件必须读完

概述先上代码 package main import ( "fmt" "net/http" ) func main() { resp, err := http.Get("http://mirrors.ustc.edu.cn/opensuse/distribution/12.3/iso/openSUSE-12.3-GNOME-Live-i686.iso") if err != nil { panic(e 先上代码

package main import ( "fmt" "net/http" ) func main() { resp, err := http.Get("http://mirrors.ustc.edu.cn/opensuse/distribution/12.3/iso/openSUSE-12.3-GNOME-live-i686.iso") if err != nil { panic(err) } fmt.Println("Resp code", resp.StatusCode) resp.Body.Close() // 注意,这里并不读取resp.Body,而resp.Body有大概700mb未读取 }

你猜会怎样呢? 卡住了?!

如果你的网速够快,你会发现,几十秒之后,程序自动退出了,但如果你很不幸是小水管,你会发现一直卡住…

原因是啥呢?

Http包默认会重用连接,重用连接就需要先把前一个连接的数据读完

代码片段(net/http/transfer.go)

func (b *body) Close() error { if b.closed { return nil } defer func() { b.closed = true }() if b.hdr == nil && b.closing { return nil } if b.res != nil && b.res.requestbodylimitHit { return nil } //  *** ,问题就在这了,读完整个body!! if _, err := io.copy(IoUtil.discard, b); err != nil { return err } return nil }

怎么解决呢?

按上面代码片段的逻辑,需要提前返回nil,从而避免被读取

 // b.hdr 总是为nil,因为从不设置 // 那b.closing什么时候为true呢? if b.hdr == nil && b.closing { return nil }

读源码可知,b.closing依赖于transferReader的Close值

而transferReader的Close值,是根据shouldClose方法判断的

// 这里的header是resp的 func shouldClose(major, minor int, header header) bool { if major < 1 { return true } else if major == 1 && minor == 0 { if !strings.Contains(strings.Tolower(header.Get("Connection")), "keep-alive") { return true } return false } else { // Todo: Should split on commas,toss surrounding white space, // and check each fIEld. if strings.Tolower(header.Get("Connection")) == "close" { header.Del("Connection") return true } } return false }

由于没法在这些代码之前修改resp的header,所以修改req的header,使服务器总是返回Connection: close

最终代码

package main import ( "fmt" "net/http" ) func main() { req, _ := http.NewRequest("GET", "http://mirrors.ustc.edu.cn/opensuse/distribution/12.3/iso/openSUSE-12.3-GNOME-live-i686.iso", nil) req.header.Set("Connection", "close") resp, err := http.DefaultClIEnt.Do(req) if err != nil { panic(err) } fmt.Println("Resp code", resp.StatusCode) resp.Body.Close() }

一个月没写blog了,心情欠佳+身体抱恙 ~_~ 哎,多事的3月

2013年4月5号更新

coocood提醒到,go1.1有个新的API来完成这个蛋碎的东西

http.DefaultTransport.(*http.Transport).CancelRequest(req)

如果不是默认的DefaultTransport,就找你自己set的Transport吧

总结

以上是内存溢出为你收集整理的Golang的坑之http读取大文件必须读完全部内容，希望文章能够帮你解决Golang的坑之http读取大文件必须读完所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。