通过SSH命令wget一个2G多的文件失败，是有限制么？

1：检查下当前LINUX所在的磁盘分区，剩余空间是不是大于2GB , 若空间不足，自然不行啦 。 2： 要下载2GB的数据 ，想必时间要很长 ，而你用的是SSH ，SSH有一个默认时间 ，若长时间没有响应 ，则窗口卡住 ，进程僵死了 ，你可以修改下 /etc/ssh/sshd_config 配置文件 ，修改下SSH连接时间 ，越大越好 。 3：可能是对方服务配仿器做了安全设置 ，你下载较大文件 ，处于长时间链接中 ，可能被对方服务器视为攻击 ，被对方拦截 。不过，这种情况的可能性较小 。 4：查看下此文件所在空间贺卖御下 ，文件包是否有来宾账号的读权限 ，因为空间商 ，每一个空间除了系统主要账号（administrator ， system ， users 外），还有一个就是你的FTP账号 ，而你在LINUX VPS服务器上直接下载，用的是来宾账号（everyone） ，若不行的话 ，建议你联系空间上 ，给此下载文件或目录一个 everyone 读的权禅岩限 ，然后再下载之 。

使用如下的命令下载https链接:

wget -r -np -nd --accept=gz --no-check-certificate https://www.xxx.com/dir/ --http-user=username --http-password=password

下载'dir'目录下的所有gz文件

-np 没有父目录

-nd 不要构建本地目兆含录结构

--accept=gz 只下载gz文件

wget 使用详解桥皮

1、下载单个文件

wget url+filename

下载过程中同时可以看到四项信息

已经下载的比例

已经下载的大小

当前下载的速度

剩余的时间

2、使用一个大写O做参数表示另存为

wget -O save_name url

这种方法适用于对应链接中没有显式文件名的情况。

例如：wget -O xx.zip http://www.vim.org/scripts/download_script.php?src_id=7701

再用不带-O参数的下载一次。

ls -al

总计 132

drwxr-xr-x 2 root root 4096 07-12 10:43 .

drwxr-xr-x 4 root root 4096 07-11 16:26 ..

-rw-r--r-- 1 root root 50243 07-12 10:43 download_script.php?src_id=7701

-rw-r--r-- 1 root root 50243 07-12 10:43 xx.zip

我们发现，下载的大小都是一样。但是不带-O参数的，文件名还敏猜差要转换一次。不如用-O参数方便。

mv "download_script.php?src_id=7701" yy.zip

3、指定下载速率

方法是使用wget --limit-rate

wget程序默认是使用所有的带宽，如果

是在生产服务器上下载很大的文件就不可接受了。

为了避免这种情况使用--limit-rate参数

wget --limit-rate=200k http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2

4、断点下载

使用wget -c完成未完成的下载

下载到一半需要停下来干别的事情，用^c就可以停顿住。

回来后，继续下载可以加一个-c参数。

注意：如果不加入-c，那么下载的文件会多出一个.1的后缀。

5、在后台下载

方法：加一个-b的参数

wget -b url/filename为后台下载。下载经过写入到wget-log文件中。

用tail -f wget-log查看下载日志

6、模拟在浏览器下下载

有的网站不允许客户在非浏览器环境下下载。使用--user-agent来设置

wget --user-agent="Mozilla/5.0 (X11ULinux i686en-USrv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD

7、测试下载链接

方法:使用--spider

试图做计划下载时候，需要先检查一下下载链接是否有效。

wget --spider DOWNLOAD-URL

如果返回OK，则表示下载链接是正确的！

例如

wget --spider "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"

Spider mode enabled. Check if remote file exists.

--2010-07-12 11:36:32-- http://ip138.com/ips.asp?ip=58.251.193.137&action=2

正在解析主机 ip138.com... 221.5.47.136

Connecting to ip138.com|221.5.47.136|:80... 已连接。

已发出 HTTP 请求，正在等待回应... 200 OK

长度：7817 (7.6K) [text/html]

Remote file exists and could contain further links,

but recursion is disabled -- not retrieving.

8、增加尝试次数

方法：--tries=1000

如果网速有问题，下载大文件的时候可能会发生错误，

默认wget尝试20次链接。

如果尝试75次，可以

wget --tires=75 DOWNLOAD-URL

9、下载多个文件使用wget -i

将多个下载链接写入到一个download-file-list.txt文件中，而后用

wget -i download-file-list.txt

10、下载整站

方法：用--mirror参数

当你要下载一个完整站点并实现本地浏览的时候，

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL

参数讲解：

--mirror：设置这个参数用来建立本地镜像

-p：下载所有html文件适合显示的元素

--convert-links：下载完成后，将文档链接都转换成本地的

-P ./LOCAL-DIR：保存所有的文件和目录到指定文件夹下

11、下载时候禁止下载指定类型的文件

例如下载站点时候，不打算下载gif动画图片。

wget --reject=gif WEBSITE-TO-BE-DOWNLOADED

12、记录下载日志

方法：使用小写字母o

wget -o xx.html.log -O xx.html "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"

检查一下日志：

[root@localhost opt]# cat xx.html.log

--2010-07-12 11:57:22-- http://ip138.com/ips.asp?ip=58.251.193.137&action=2

正在解析主机 ip138.com... 221.5.47.136

Connecting to ip138.com|221.5.47.136|:80... 已连接。

已发出 HTTP 请求，正在等待回应... 200 OK

长度：7817 (7.6K) [text/html]

Saving to: `xx.html'

0K ....... 100% 65.5K=0.1s

2010-07-12 11:57:22 (65.5 KB/s) - `xx.html' saved [7817/7817]

13、是第9条的增强版。可以限制下载容量

wget -Q5m -i FILE-WHICH-HAS-URLS

当下载的文件达到5兆的时候，停止下载。

注意：如果不是对一个文件下载链接清单，对单个文件，

这个限制不会生效的。

14、和第11条正好相反，

这条技巧是讲述如何仅仅下载指定类型的文件

从一个网站中下载所有的pdf文件

wget -r -A.pdf http://url-to-webpage-with-pdfs/

15、使用wget完成ftp下载

匿名ftp下载类似于http下载

wget ftp-url即可。

如果是需要输入用户名和密码，则是

wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL

下载windows下使用的wget，然后复制到任何目录下，如果希望像使用 windows底下命令一样不使用绝对路径使用命令可以将wget.exe复制到/windows/system32下或是将wget所在目录添加到环境 变量中，至于扎添加环境变量找Google。大多数使用wget都很简单：只需要输入wget+具体的URL就行，特别提醒使用wget可以下载整个网 站，以下是转载的wget使用指南：

WGet使用指南

wget是一个从网络上自动下载文件的自由工具。它支持HTTP，HTTPS和FTP协议，可以使用HTTP代理.

所谓的自动下载是指，wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统，启动一个wget下载任务，然后退出系统，wget将在后台执行直到任务完成，相对于其它大部分浏览器在下载大量数据时需要用户一直的参与，这省去了极大的麻烦。

wget可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本，完全重建原始站点的目录结构。这又常被称作”递归下载”。在递归下载的 时候，wget遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时，将链接转换成指向本地文件，以方便离线浏览。

wget非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败，wget会不断的尝试，直到整个文件下载完 毕。如果是服务器打断下载过程，它搏并会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。

wget的常见用法

wget的使用格式

Usage: wget [OPTION]... [URL]...用wget做站点镜像:

wget -r -p -np -k http://dsec.pku.edu.cn/~usr_name/

# 或者

wget -m http://www.tldp.org/LDP/abs/html/在不稳定的网络上下载一个部分下载的文件，以及在空闲时段下载

wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log &

# 或者从filelist读入要下载的文件列表

wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i filelist.txt -o down.log &上面的代码还可以用来在网络比较空闲的时段进行下载。我的用法是:在mozilla中将不方便当时下载的URL链接拷贝到内存中然后粘贴到文件 filelist.txt中，在晚上要出去系统前执行上面代码的第二条。

使用代理下载

wget -Y on -p -k https://sourceforge.net/projects/wvware/代理可以在环境变量或wgetrc文件中设定

# 在环境变量中设定代理

export PROXY=http://211.90.168.94:8080/

# 在~/.wgetrc中设定代理

http_proxy = http://proxy.yoyodyne.com:18023/

ftp_proxy = http://proxy.yoyodyne.com:18023/wget各种选项分类列表

启动

-V, --version 显示wget的版本后退出

-h, --help 打印语法帮助

-b, --background启动后转入后台执行

-e, --execute=COMMAND 执行`.wgetrc'格式的命令，wgetrc格式参见/etc/wgetrc或~/.wgetrc记录和输入文件

-o, --output-file=FILE 把记录写到FILE文件中

-a, --append-output=FILE 把记录追加到哪野FILE文件中

-d, --debug打印调试输出

-q, --quiet安静模式(没有输出)

-v, --verbose 冗长模式(这是缺省设置)

-nv, --non-verbose 关掉冗长模李银喊式，但不是安静模式

-i, --input-file=FILE 下载在FILE文件中出现的URLs

-F, --force-html 把输入文件当作HTML格式文件对待

-B, --base=URL 将URL作为在-F -i参数指定的文件中出现的相对链接的前缀

--sslcertfile=FILE 可选客户端证书

--sslcertkey=KEYFILE 可选客户端证书的KEYFILE

--egd-file=FILE指定EGD socket的文件名下载

--bind-address=ADDRESS 指定本地使用地址(主机名或IP，当本地有多个IP或名字时使用)

-t, --tries=NUMBER 设定最大尝试链接次数(0 表示无限制).

-O --output-document=FILE 把文档写到FILE文件中

-nc, --no-clobber 不要覆盖存在的文件或使用.#前缀

-c, --continue 接着下载没下载完的文件

--progress=TYPE 设定进程条标记

-N, --timestamping 不要重新下载文件除非比本地文件新

-S, --server-response打印服务器的回应

--spider 不下载任何东西

-T, --timeout=SECONDS设定响应超时的秒数

-w, --wait=SECONDS 两次尝试之间间隔SECONDS秒

--waitretry=SECONDS 在重新链接之间等待1...SECONDS秒

--random-wait在下载之间等待0...2*WAIT秒

-Y, --proxy=on/off 打开或关闭代理

-Q, --quota=NUMBER 设置下载的容量限制

--limit-rate=RATE限定下载输率目录

-nd --no-directories不创建目录

-x, --force-directories 强制创建目录

-nH, --no-host-directories 不创建主机目录

-P, --directory-prefix=PREFIX 将文件保存到目录 PREFIX/...

--cut-dirs=NUMBER 忽略 NUMBER层远程目录HTTP 选项

--http-user=USER 设定HTTP用户名为 USER.

--http-passwd=PASS设定http密码为 PASS.

-C, --cache=on/off允许/不允许服务器端的数据缓存 (一般情况下允许).

-E, --html-extension 将所有text/html文档以.html扩展名保存

--ignore-length 忽略 `Content-Length'头域

--header=STRING 在headers中插入字符串 STRING

--proxy-user=USER 设定代理的用户名为 USER

--proxy-passwd=PASS 设定代理的密码为 PASS

--referer=URL 在HTTP请求中包含 `Referer: URL'头

-s, --save-headers保存HTTP头到文件

-U, --user-agent=AGENT设定代理的名称为 AGENT而不是 Wget/VERSION.

--no-http-keep-alive 关闭 HTTP活动链接 (永远链接).

--cookies=off 不使用 cookies.

--load-cookies=FILE 在开始会话前从文件 FILE中加载cookie

--save-cookies=FILE 在会话结束后将 cookies保存到 FILE文件中FTP 选项

-nr, --dont-remove-listing 不移走 `.listing'文件

-g, --glob=on/off 打开或关闭文件名的 globbing机制

--passive-ftp 使用被动传输模式 (缺省值).

--active-ftp使用主动传输模式

--retr-symlinks 在递归的时候，将链接指向文件(而不是目录)递归下载

-r, --recursive 递归下载－－慎用!

-l, --level=NUMBER 最大递归深度 (inf 或 0 代表无穷).

--delete-after 在现在完毕后局部删除文件

-k, --convert-links 转换非相对链接为相对链接

-K, --backup-converted 在转换文件X之前，将之备份为 X.orig

-m, --mirror 等价于 -r -N -l inf -nr.

-p, --page-requisites下载显示HTML文件的所有图片递归下载中的包含和不包含(accept/reject)

-A, --accept=LIST分号分隔的被接受扩展名的列表

-R, --reject=LIST分号分隔的不被接受的扩展名的列表

-D, --domains=LIST 分号分隔的被接受域的列表

--exclude-domains=LIST 分号分隔的不被接受的域的列表

--follow-ftp 跟踪HTML文档中的FTP链接

--follow-tags=LIST 分号分隔的被跟踪的HTML标签的列表

-G, --ignore-tags=LIST 分号分隔的被忽略的HTML标签的列表

-H, --span-hosts 当递归时转到外部主机

-L, --relative 仅仅跟踪相对链接

-I, --include-directories=LIST 允许目录的列表

-X, --exclude-directories=LIST 不被包含目录的列表

-np, --no-parent 不要追溯到父目录

---