Golang正确大文件下载方式,避免OOM

Golang正确大文件下载方式,避免OOM,第1张

​ 今天在golang http下载一个大文件时,报错OOM,通过堆栈发现时读取文件内容时申请内存超过系统内存大小,导致进程被杀。

一、错误实现方式
func downloadFile() {
	file, err := os.OpenFile("xxx.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)
	if err != nil {
		return
	}
	
	defer func() {
		_ = file.Close()
	}()

	rsp, err := http.Get("www.baidu.com")
	defer func() {
		_ = rsp.Body.Close()
	}()
	body, err := ioutil.ReadAll(rsp.Body)
	_, _ = file.Write(body)
}

​ 经过查阅资料发现,此方式存在OOM问题,问题原因为ioutil.ReadAll会一次读取所有的文件内容,将内存保存在body变量中,变量body此时存在内存,随着不断读取,body大小不断增大,当文件大小超过系统内存可分配大小时,进程就会OOM。

二、正确实现方式
func downloadFile() (int64, error) {
	file, err := os.OpenFile("xxx.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)
	if err != nil {
		return 0, err
	}

	defer func() {
		_ = file.Close()
	}()

	rsp, err := http.Get("www.baidu.com")
	defer func() {
		_ = rsp.Body.Close()
	}()
	n, err := io.Copy(file, rsp.Body)
	return n, err
}

为什么此方式不会出现OOM现象,原因有:

rsp.Body只是一个Reader,并没有发生真正的读取 *** 作io.Copy设置了缓冲区大小限制,大小为3M,因此一次只会读取3M内容,然后写到目标Reader中,不会发生一次读取全部内容到内存。

三、io.Copy实现

此函数描述中介绍到,Copy函数实现将src拷贝到dst,直到在src上读取EOF或错误发生。

func Copy(dst Writer, src Reader) (written int64, err error) {
	return copyBuffer(dst, src, nil)
}

copyBuffer代码中可以发现,buf==nil时,会申请一个3M的缓冲区,然后for循环从src中读取内容,每次读取完成后写入到dst。

func copyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error) {
	// If the reader has a WriteTo method, use it to do the copy.
	// Avoids an allocation and a copy.
	if wt, ok := src.(WriterTo); ok {
		return wt.WriteTo(dst)
	}
	// Similarly, if the writer has a ReadFrom method, use it to do the copy.
	if rt, ok := dst.(ReaderFrom); ok {
		return rt.ReadFrom(src)
	}
	if buf == nil {
		size := 32 * 1024
		if l, ok := src.(*LimitedReader); ok && int64(size) > l.N {
			if l.N < 1 {
				size = 1
			} else {
				size = int(l.N)
			}
		}
		buf = make([]byte, size)
	}
	for {
		nr, er := src.Read(buf)
		if nr > 0 {
			nw, ew := dst.Write(buf[0:nr])
			if nw > 0 {
				written += int64(nw)
			}
			if ew != nil {
				err = ew
				break
			}
			if nr != nw {
				err = ErrShortWrite
				break
			}
		}
		if er != nil {
			if er != EOF {
				err = er
			}
			break
		}
	}
	return written, err
}

公众号:编程之蝉 专注后台开发、CDN、算法、大数据,欢迎关注,阅读最新更新

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/langs/995440.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-05-21
下一篇 2022-05-21

发表评论

登录后才能评论

评论列表(0条)

保存