在C ++中有效读取非常大的文本文件

在C ++中有效读取非常大的文本文件

我将对其进行重新设计以充当流式传输，而不是在一个块上。

一个更简单的方法是：

std::ifstream ifs("input.txt");std::vector<uint64_t> parsed(std::istream_iterator<uint64_t>(ifs), {});

如果您大致知道期望多少个值，那么预先使用

std::vector::reserve

它可以进一步加快速度。

---

另外，您可以使用内存映射文件并遍历字符序列。

更新 我修改了上面的程序以将

uint32_t

s 解析为向量。

使用4.5GiB [1] 的样本输入文件时，程序将在9秒 [2] 内运行：

sehe@desktop:/tmp$ make -B && sudo chrt -f 99 /usr/bin/time -f "%E elapsed, %c context switches" ./test smaller.txtg++ -std=c++0x -Wall -pedantic -g -O2 -march=native test.cpp -o test -lboost_system -lboost_iostreams -ltcmallocparse successtrailing unparsed: ''data.size():   4026531840:08.96 elapsed, 6 context switches

当然，它至少分配402653184 * 4 字节= 1.5吉字节。因此，当您读取一个45
GB的文件时，您将需要大约15GiB的RAM来存储矢量（假设重新分配时没有碎片）：
45GiB解析在45分钟内完成10分钟* ：

make && sudo chrt -f 99 /usr/bin/time -f "%E elapsed, %c context switches" ./test 45gib_uint32s.txt make: Nothing to be done for `all'.tcmalloc: large alloc 17570324480 bytes == 0x2cb6000 @  0x7ffe6b81dd9c 0x7ffe6b83dae9 0x401320 0x7ffe6af4cec5 0x40176f (nil)Parse successTrailing unparsed: 1 charactersData.size():   4026531840Time taken by parsing: 644.64s10:45.96 elapsed, 42 context switches

相比之下，仅运行

wc -l 45gib_uint32s.txt

就花费了大约12分钟（尽管没有实时优先级调度）。

wc

是 极快

完整代码用于基准测试

#include <boost/spirit/include/qi.hpp>#include <boost/iostreams/device/mapped_file.hpp>#include <chrono>namespace qi = boost::spirit::qi;typedef std::vector<uint32_t> data_t;using hrclock = std::chrono::high_resolution_clock;int main(int argc, char** argv) {    if (argc<2) return 255;    data_t data;    data.reserve(4392580288);   // for the  45 GiB file benchmark    // data.reserve(402653284); // for the 4.5 GiB file benchmark    boost::iostreams::mapped_file mmap(argv[1], boost::iostreams::mapped_file::readonly);    auto f = mmap.const_data();    auto l = f + mmap.size();    using namespace qi;    auto start_parse = hrclock::now();    bool ok = phrase_parse(f,l,int_parser<uint32_t, 10>() % eol, blank, data);    auto stop_time = hrclock::now();    if (ok)std::cout << "Parse successn";    else         std::cerr << "Parse failed at #" << std::distance(mmap.const_data(), f) << " around '" << std::string(f,f+50) << "'n";    if (f!=l)         std::cerr << "Trailing unparsed: " << std::distance(f,l) << " charactersn";    std::cout << "Data.size():   " << data.size() << "n";    std::cout << "Time taken by parsing: " << std::chrono::duration_cast<std::chrono::milliseconds>(stop_time-start_parse).count() / 1000.0 << "sn";}

---

[1] 产生

od -t u4 /dev/urandom -A none -v -w4 | pv | dd bs=1Mcount=$((9*1024/2)) iflag=fullblock > smaller.txt

[2] 显然，这与在Linux上的缓冲区缓存中缓存的文件有关–大文件没有此好处