多线程将SRA文件转化为fastq.gz文件

利用NCBI数据进行分析的时候，遇到的第二个问题就是如何将SRA文件转化为常用的fastq文件。

NCBI官方提供的SRAtoolkit里面有fastq-dump，很简单的一个命令，直接转换出来就是压缩好的fastqgz文件，但是这个命令是单线程的，遇上大量的SRA数据就非常慢了，所以后来开发了一个fasterq-dump，能够多线程的转换。

但是这个命令最大的问题是不能直接出压缩好的fastqgz文件，对于非服务器用户很不友好，没压缩的fq文件通常十几个G，文件一多硬盘就爆炸，所以还是希望能够以压缩好的gz文件存储，通常只有原始文件的1/8左右，只有原始SRA文件的2倍左右。如果利用gzip命令，这玩意也是个单线程的，压缩起来要了亲命。所以通过寻找我发现pigz这个命令可以多线程的压缩，压缩大小和gzip是差不多的，最后我写了个简单的shell脚本，可以一次性完成这两步工作。

把两个分割线中间的命令用记事本保存为sh文件，放在服务器上就能够执行了。多线程的转换，多线程的压缩，节约不少时间，对台式机用户比较友好。

Linux中实现代理服务器功能最常用的软件为squid，下面是源代码包安装步骤：

1从>

2将该文件拷贝到/usr/local目录

cpsquid-22STABLE4-srctargz/usr/local

3解开该文件

tarxvzf

squid-22STABLE4-srctargz

为了方便使用将目录更名为squid

mvsquid-22STABLE4squid

4进入squid目录

cdsquid

5执行编译

/configure

系统默认安装目录为/usr/local/squid

/configure-prefix=/directory/you/want

指定安装目录

6执行

makeall

7执行安装

makeinstall

8安装结束后，Squid的可执行文件在安装目录的bin子目录下，配置文件在etc子目录下。

scp就是security copy，用于将文件或者目录从一个Linux系统拷贝到另一个Linux系统下

scp传输数据用的是SSH协议，保证了数据传输的安全

其格式如下：scp 远程用户名@IP地址：文件的绝对路径 本地Linux系统路径 scp 本地Linux系统文件路径

远程用户名@IP地址：远程系统文件绝对路径名scp使用第一种格式是将远程Linux系统上的某个文件或者目录拷贝到本地Linux系统上来

使用第二种是将本地的某个文件或者目录拷贝到远程Linux系统的某个路径下

举例（1）目前我们处在IP为“19216860133”的Linux系统下

计划将系统下的/home/ixdba/etctargz文件拷贝到IP为“19216860168”的远程Linux系统中root用户下的/tmp目录下：scp /home/ixdba/etctargz root@19216860168:/tmp命令输入完毕

会要求输入“19216860168”服务器root的密码，然后开始远程拷贝数据

如果我们处在“19216860168”服务器上，也可以使用下面的命令传输数据：scp root@19216860133:/home/ixdba/etctargz /tmp命令输入完毕，此时会要求输入“19216860133”服务器root的密码，然后开始远程拷贝数据

（2）将本地/etc目录中所有的文件和子目录拷贝到IP为“19216860135”的远程Linux系统的root用户下的/opt目录中：scp -r /etc root@19216860135:/opt这里的选项“r”与cp命令的“r”选项含义相同

targz 是Linux和Unix下面比较常用的格式，一条命令就可以把文件压缩打包成targz格式，然而这种格式在windows并不多见。

Linxu服务器上，targz 包解压轻而易举，rar包和zip就取决于软件安装了。

Linux上安装zip unzip软件可以用来压缩和解压zip包，rar压缩解压软件是商业性质的，在Linux服务器上极少使用，当然能用，需要装rar软件。

Windows上，WinRAR、WinZip等主流压缩工具可以解压targz 包，却不能打包生成targz 包，但是targz在linux服务器端很常用，对运维人员而言，最想骂娘的一种情形必然有开发提供了rar格式的部署包。

那么，Windows上如何压缩targz格式包呢？

如何在windows系统生成targz压缩包，在网上搜了一下除了复杂的命令行和开源软件之外，似乎没有其他的，发现 7-Zip 这个开源软件可以很方便地解决这个问题！
欢迎来到 7-Zip 官方主页

>