c – 处理时写入数据块 – 由于硬件限制,是否存在收敛值?

c – 处理时写入数据块 – 由于硬件限制,是否存在收敛值?,第1张

概述我正在从一个大文件处理来自硬盘的数据(处理速度快,而且开销不大),然后必须将结果写回(数十万个文件). 我开始直接在文件中编写结果,一次一个,这是最慢的选项.我认为如果我构建一定数量的文件的向量然后立即写入它们会更快,然后返回处理,同时硬盘被写入我写入的所有内容(至少似乎是发生了什么). 我的问题是,我可以以某种方式估计我应该从硬件约束中写入的数据量的收敛值吗?对我来说它似乎是一个硬盘缓冲的东西, 我正在从一个大文件处理来自硬盘的数据(处理速度快,而且开销不大),然后必须将结果写回(数十万个文件).

我开始直接在文件中编写结果,一次一个,这是最慢的选项.我认为如果我构建一定数量的文件的向量然后立即写入它们会更快,然后返回处理,同时硬盘被写入我写入的所有内容(至少似乎是发生了什么).

我的问题是,我可以以某种方式估计我应该从硬件约束中写入的数据量的收敛值吗?对我来说它似乎是一个硬盘缓冲的东西,我在该硬盘上有16MB缓冲区并获得这些值(所有~100000文件):

Buffer size      time (minutes)------------------------------no Buffer        ~ 8:30 1 MB            ~ 6:1510 MB            ~ 5:4550 MB            ~ 7:00

或者这只是巧合?

我也会对有关如何优化写入性能的经验/经验法则感兴趣,例如更大的硬盘块有用,等等.

编辑:

硬件是一个非常标准的消费者驱动器(我是学生,而不是数据中心)WD 3,5 1TB / 7200 / 16MB / USB2,HFS记录, *** 作系统是MacOS 10.5.我很快就会尝试使用Ext3 / linux和内部磁盘而不是外部磁盘.

解决方法

Can I somehow estimate a convergence value for the amount of data that I should write from the harDWare constraints?

不是长期的.问题是你的写入性能将至少取决于四件事:

>您正在使用哪个文件系统
>内核使用什么磁盘调度算法
>磁盘的硬件特性
>您正在使用的硬件互连

例如,USB比IDE慢,后者比SATA慢.如果XFS写入许多小文件比ext2快得多,我不会感到惊讶.内核一直在变化.因此,这里有太多因素可以简化预测.

如果我是你,我会采取以下两个步骤:

>将我的程序拆分为多个线程(甚至进程),并使用一个线程尽快提供打开,写入和关闭 *** 作系统的系统调用.如果您可以使线程数成为运行时参数,则可以获得奖励积分.
>不要试图从硬件特性中估算性能,而是编写一个程序,尝试一系列替代方案,并在当天为您的特定硬件和软件组合找到最快的方案.将最快的替代品保存在文件中,甚至将其编译到代码中.这个策略是由Matteo Frigo在FFTW开创的,它非常有效.

然后,当您更改磁盘,互连,内核或cpu时,您只需重新运行配置程序即可!您的代码将进行优化以获得最佳性能.

总结

以上是内存溢出为你收集整理的c – 处理时写入数据块 – 由于硬件限制,是否存在收敛值?全部内容,希望文章能够帮你解决c – 处理时写入数据块 – 由于硬件限制,是否存在收敛值?所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/langs/1212699.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-06-04
下一篇 2022-06-04

发表评论

登录后才能评论

评论列表(0条)

保存