Linux下实现断点续传的原理介绍

Linux下实现断点续传的原理介绍

断点续传的原理

其实断点续传的原理很简单，就是在 Http 的请求上和一般的下载有所不同而已。

打个比方，浏览器请求服务器上的一个文时，所发出的请求如下：

假设服务器域名为 ，文件名为 down.zip。

GET /down.zip HTTP/1.1

Accept： image/gif， image/x-xbitmap， image/jpeg， image/pjpeg， application/vnd.ms-

excel， application/msword， application/vnd.ms-powerpoint， */*

Accept-Language： zh-cn

Accept-Encoding： gzip， deflate

User-Agent： Mozilla/4.0 (compatibleMSIE 5.01Windows NT 5.0)

Connection： Keep-Alive

服务器收到请求后，按要求寻找请求的文件，提取文件的信息，然后返回给浏览器，返回信息如下：

200

Content-Length=106786028

Accept-Ranges=bytes

Date=Mon， 30 Apr 2001 12:56:11 GMT

ETag=W/“02ca57e173c11:95b”

Content-Type=application/octet-stream

Server=Microsoft-IIS/5.0

Last-Modified=Mon， 30 Apr 2001 12:56:11 GMT

所谓断点续传，也就是要从文件已经下载的地方开始继续下载。所以在客户端浏览器传给 Web 服务器的时候要多加一条信息 -- 从哪里开始。

下面是用自己编的一个“浏览器”来传递请求信息给 Web 服务器，要求从 2000070 字节开始。

GET /down.zip HTTP/1.0

User-Agent： NetFox

RANGE： bytes=2000070-

Accept： text/html， image/gif， image/jpeg， *q=.2， */*q=.2

仔细看一下就会发现多了一行 RANGE： bytes=2000070-

这一行的意思就是告诉服务器 down.zip 这个文件从 2000070 字节开始传，前面的字节不用传了。

服务器收到这个请求以后，返回的信息如下：

206

Content-Length=106786028

Content-Range=bytes 2000070-106786027/106786028

Date=Mon， 30 Apr 2001 12:55:20 GMT

ETag=W/“02ca57e173c11:95b”

Content-Type=application/octet-stream

Server=Microsoft-IIS/5.0

Last-Modified=Mon， 30 Apr 2001 12:55:20 GMT

和前面服务器返回的信息比较一下，就会发现增加了一行：

Content-Range=bytes 2000070-106786027/106786028

返回的`代码也改为 206 了，而不再是 200 了。

知道了以上原理，就可以进行断点续传的编程了。

Java 实现断点续传的关键几点

(1) 用什么方法实现提交 RANGE： bytes=2000070-。

当然用最原始的 Socket 是肯定能完成的，不过那样太费事了，其实 Java 的 net 包中提供了这种功能。代码如下：

URL url = new URL(“/down.zip”)

HttpURLConnection httpConnection = (HttpURLConnection)url.openConnection()

// 设置 User-Agent

httpConnection.setRequestProperty(“User-Agent”，“NetFox”)

// 设置断点续传的开始位置

http Connection.setRequestProperty(“RANGE”，“bytes=2000070”)

// 获得输入流

InputStream input = httpConnection.getInputStream()

从输入流中取出的字节流就是 down.zip 文件从 2000070 开始的字节流。 大家看，其实断点续传用 Java 实现起来还是很简单的吧。 接下来要做的事就是怎么保存获得的流到文件中去了。

保存文件采用的方法。

我采用的是 IO 包中的 RandAccessFile 类。

*** 作相当简单，假设从 2000070 处开始保存文件，代码如下：

RandomAccess oSavedFile = new RandomAccessFile(“down.zip”，“rw”)

long nPos = 2000070

// 定位文件指针到 nPos 位置

oSavedFile.seek(nPos)

byte[] b = new byte[1024]

int nRead

// 从输入流中读入字节流，然后写到文件中

while((nRead=input.read(b，0，1024)) 》 0)

{

oSavedFile.write(b，0，nRead)

}

以上就是断点续传的原理，知道这些原理，相信大家都能够进行编程了吧，这个技术在现在的电脑技术上也算不得什么，打家应该都注意到我们下载时都是断点续传吧

scp和rsync 均可实现文件的复制，但相比较，scp占用系统资源较小，rsync速度较快。当小文件众多时，rsync会导致硬盘I/O非常高，而scp基本不影响系统正常使用。可根据需要这俩选其一实现文件复制。

scp 是secure copy的缩写，scp是Linux系统下基于ssh登录进行安全的远程文件拷贝命令。

可以实现本地文件复制到远程服务器，也可以将远程文件复制到本地。

rsync 是remote sync的缩写。使用rsync备份数据时，不会直接覆盖以前的数据（如果数据已经存在），而是先判断已存在的数据和新数据的差异（默认规则是文件大小或修改时间有差异），只有数据不相同时才会把不相同的部分覆盖。在仅作增量数据的copy时比scp灵活。

一般CentOS默认安装rsync，若使用 rsync -v 提示找不到命令，可使用 yum install -y rsync 安装。

单个冒号和双冒号的区别 ：使用rsync在远程传输数据前，是需要进行登陆认证的，这个过程可使用ssh协议也可以使用rsync协议完成。单冒号（:）使用的是ssh协议；双冒号（::）使用的是rsync协议。

默认情况下，rsync只确保源文件的所有内容（明确排除的文件除外）都复制到目标目录。它不会使两个目录保持不同，并且不会删除文件。如果要使目标目录成为源目录的镜像副本，则使用--delete选项。可删除只存在目标目录，不存在于源目录的文件。

增量备份算是一个经常使用的场景了。两台服务器之间进行文件定期备份，无需所有文件都copy一遍，仅复制有变动的文件。

具体做法是，第一次同步是全量备份，所有文件在基准目录里面同步一份。以后每一次同步都是增量备份，只同步源目录与基准目录之间有变动的部分，将这部分保存在一个新的目标目录。这个新的目标目录之中，也是包含所有文件，但实际上，只有那些变动过的文件是存在于该目录，其他没有变动的文件都是指向基准目录文件的硬链接。

--link-dest 参数用来指定同步时的基准目录。

上面命令中， --link-dest 参数指定基准目录 /compare/path ，然后源目录 /source/path 跟基准目录进行比较，找出变动的文件，将它们拷贝到目标目录 /target/path 。那些没变动的文件则会生成硬链接。这个命令的第一次备份时是全量备份，后面就都是增量备份了。

一般服务器之间复制文件都比较大，为防止误 *** 作，最好在后台运行。但因为需要和远程服务器之间的ssh通讯多是需要密码的，所以不能直接使用nohup 放置于后台。无论是scp还是rsync都可 *** 作如下：

后台和前台任务的切换

scp不支持断点续传，挂起scp进程可能导致数据缺失。倾向于使用rsync。

如果有其他任务需要使用nohup后台运行，但执行时却忘记了使用nohup，也可参照此方法进行设置。

参考：1. Linux之scp命令及后台运行scp

这次想说说「SCP和SFTP」。

不管SCP还是SFTP，都是SSH的功能之一。都是使用SSH协议来传输文件的。

不用说文件内容，就是登录时的用户信息都是经过SSH加密后才传输的，所以说SCP和SFTP实现了安全的文件传输。

SCP和CP命令相似，SFTP和FTP的使用方法也类似。SCP和SFTP的共同之处在于「使用SSH将文件加密才传输的」

使用「WinSCP」或者「FileZilla」之类的客户端，还可以和Windows之间进行文件传输。

SCP和SFTP的不同之处，首先就是之前提到的，SCP使用「SCP命令」，SFTP则类似「FTP处理文件」的使用方式。

它们的不同之处还不止如此，还有「SCP比较简单，是轻量级的，SFTP的功能则比较多」。

详细说的话，虽然还有很多不同之处，但两者的最大不同之处在于「SFTP在文件传输过程中中断的话，连接后还可以继续传输，但SCP不行」。

由于各种原因导致的文件传输中断是经常讨论的话题，所以这个区别（这里的区别指SFTP能断点续传，SCP则不能）被认为是最大的区别。

无论何时，传输文件时如果不想文件内容被人知道的话，请考虑使用SCP或者SFTP来代替FTP，这样安全性上会更好。

---