LAMP：如何为用户动态创建大型文件的.Zip，而不会磁盘 CPU跳动

LAMP：如何为用户动态创建大型文件的.Zip，而不会磁盘/ CPU跳动

您可以使用

popen()

（docs）或

proc_open()

（docs）执行Unix命令（例如zip或gzip），并以php流的形式返回stdout。

flush()

（docs）会尽力将php输出缓冲区的内容推送到浏览器。

将所有这些结合起来将为您提供所需的内容（前提是没有其他障碍物-尤其是在docs页面上的警告

flush()

）。

（ 注意 ：请勿使用

flush()

。有关详细信息，请参见下面的更新。）

如下所示的方法可以解决问题：

<?php// make sure to send all headers first// Content-Type is the most important one (probably)//header('Content-Type: application/x-gzip');// use popen to execute a unix command pipeline// and grab the stdout as a php stream// (you can use proc_open instead if you need to // control the input of the pipeline too)//$fp = popen('tar cf - file1 file2 file3 | gzip -c', 'r');// pick a bufsize that makes you happy (64k may be a bit too big).$bufsize = 65535;$buff = '';while( !feof($fp) ) {   $buff = fread($fp, $bufsize);   echo $buff;}pclose($fp);

---

您询问了“其他技术”：我将对它说，“在请求的整个生命周期中支持无阻塞I / O的任何东西”。 如果 您愿意进入非阻塞文件访问的“麻烦”阶段， 则
可以使用Java或C / C ++（或许多其他可用语言）将这样的组件构建为独立服务器。

如果您想要一个非阻塞的实现，但是您宁愿避免“崩溃”，最简单的路径（IMHO）将是使用nodeJS。现有的nodejs版本中需要的所有功能都有大量支持：（

http

当然）将模块用于http服务器；并使用

child_process

模块生成tar
/ zip /任何管道。

最后，如果（且仅当）您正在运行多处理器（或多核）服务器，并且希望从nodejs获得最大收益，则可以使用Spark2在同一端口上运行多个实例。每个处理器核心不要运行多个nodejs实例。

---

更新 （来自Benji关于此答案的评论部分中的出色反馈）

1. docs

fread()

表示该功能一次只能从非常规文件中读取最多8192字节的数据。因此，8192可能是缓冲区大小的不错选择。

[版本说明] 8192几乎可以肯定是一个与平台有关的值-
在大多数平台上，

fread()

它将读取数据，直到 *** 作系统的内部缓冲区为空，此时它将返回，从而允许os再次异步填充该缓冲区。8192是许多流行的 *** 作系统上默认缓冲区的大小。

在其他情况下，可能会导致fread返回少于8192字节的内容-例如，“远程”客户端（或进程）填充缓冲区的速度很慢-
在大多数情况下，

fread()

输入缓冲区的内容将返回-无需等待它充满。这可能意味着返回0..os_buffer_size个字节。

道德是：传递给

fread()

as 的值

buffsize

应被视为“最大”大小-永远不要假设您已收到要求的字节数（或与此有关的任何其他数字）。

2.
根据对fread文档的评论，有几点警告：魔术引号可能会干扰并且必须将其关闭。

3. 设置

mb_http_output('pass')

（文档）可能是一个好主意。虽然

'pass'

已经是默认设置，但是如果您的代码或配置先前已将其更改为其他设置，则可能需要显式指定它。

4. 如果要创建一个zip文件（而不是gzip文件），则要使用内容类型标头：

Content-type: application/zip

或…可以改用’application / octet-stream’。（这是用于各种二进制下载的通用内容类型）：

Content-type: application/octet-stream

并且如果您希望提示用户下载文件并将其保存到磁盘（而不是让浏览器尝试将文件显示为文本），则需要content-
disposition标头。（其中filename表示应在保存对话框中建议的名称）：

Content-disposition: attachment; filename="file.zip"

还应该发送Content-length标头，但是用这种技术很难做到这一点，因为您事先不知道zip的确切大小。
是否可以设置标题以指示内容正在“流式传输”或长度未知？ 有人知道吗

---

最后，这是一个修改后的示例，它使用了@ Benji的所有建议（并创建了一个ZIP文件而不是TAR.GZIP文件）：

<?php// make sure to send all headers first// Content-Type is the most important one (probably)//header('Content-Type: application/octet-stream');header('Content-disposition: attachment; filename="file.zip"');// use popen to execute a unix command pipeline// and grab the stdout as a php stream// (you can use proc_open instead if you need to // control the input of the pipeline too)//$fp = popen('zip -r - file1 file2 file3', 'r');// pick a bufsize that makes you happy (8192 has been suggested).$bufsize = 8192;$buff = '';while( !feof($fp) ) {   $buff = fread($fp, $bufsize);   echo $buff;}pclose($fp);

---

更新
：（2012-11-23）我发现

flush()

在处理非常大的文件和/或非常慢的网络时，在读/回显循环中调用会导致问题。至少，当在Apache后面以cgi
/
fastcgi的身份运行PHP时，这是正确的，并且当在其他配置中运行时，似乎也可能发生相同的问题。当PHP将输出刷新到Apache的速度比Apache实际通过套接字发送输出的速度快时，就会出现此问题。对于非常大的文件（或连接速度慢），最终会导致Apache内部输出缓冲区溢出。这会导致Apache终止PHP进程，这当然会导致下载挂起或过早完成，而只进行了部分传输。

解决的办法是 根本不 打电话

flush()

。我已经更新了上面的代码示例以反映这一点，并在答案顶部的文本中添加了一个注释。