同时读取多个位置的单个文件不会让您走得更快(但可能会大大降低您的速度)。
与其从多个线程读取文件,不如从单个线程读取文件,并并行 处理
这些行。单线程应逐行读取CSV,并将每一行放入队列中。然后,多个工作线程应从队列中取出下一行,进行解析,转换为请求,并根据需要并发处理请求。然后,将通过单个线程来完成工作拆分,确保没有丢失的行或重叠。
欢迎分享,转载请注明来源:内存溢出
同时读取多个位置的单个文件不会让您走得更快(但可能会大大降低您的速度)。
与其从多个线程读取文件,不如从单个线程读取文件,并并行 处理
这些行。单线程应逐行读取CSV,并将每一行放入队列中。然后,多个工作线程应从队列中取出下一行,进行解析,转换为请求,并根据需要并发处理请求。然后,将通过单个线程来完成工作拆分,确保没有丢失的行或重叠。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)