linux – 需要高性能 binsort;有什么建议？

概述我正在寻找高性能/ bin / sort drop替代品.我知道pbzip2使用多个内核,但是/ bin / sort有类似的产品吗？ 我找到了distsort.sh,但我想要一些不那么IO密集的东西.我想要非常频繁地排序哦.. 60 gig的数据. GNU sort有-m可能会帮助你.假设您有200个.gz文件要排序和组合.然后你可以使用GNU Parallel来做： seq 1 200 | p 我正在寻找高性能/ bin / sort drop替代品.我知道pbzip2使用多个内核,但是/ bin / sort有类似的产品吗？

我找到了distsort.sh,但我想要一些不那么IO密集的东西.我想要非常频繁地排序哦.. 60 gig的数据.

解决方法 GNU sort有-m可能会帮助你.假设您有200个.gz文件要排序和组合.然后你可以使用GNU Parallel来做：

seq 1 200 | parallel mkfifo /tmp/{}ls *.gz | nice parallel -j200 'zcat {} | sort >/tmp/$ParaLLEL_SEQ' &seq 1 200 | parallel -X sort -m /tmp/{} >/tmp/sorted

如果I / O是问题并且内存不是问题,则使用-S进行第一次排序以确保所有内容都保留在内存中.此外,您可能希望每次写入磁盘时都使用lzop(–compress-program = lzop)：磁盘通常是限制因素,因此在运行中lzopPing可以为您提供额外的速度.或者你可以制作一个RAM磁盘并将-T设置为该目录.

总结

以上是内存溢出为你收集整理的linux – 需要高性能/ bin / sort;有什么建议？全部内容，希望文章能够帮你解决linux – 需要高性能/ bin / sort;有什么建议？所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。