如何用多线程读取大文件并且做数据处理，100

先说几个要点：

a、文件在 *** 作系统级，有描述符标记，关联到打开的文件表项，文件表项纪录了一个很重要的信息，当前文件的指针；

b、cpu要干的工作比读文件快不，读一次文件的速度要慢于cpu处理一次的速度，没必要多多线程，多线程提升不了多少性能，还增加编程的难度，单线程处理即可。

c、待处理文件，必须知道一定的边界值，如分页边界或单条纪录边界。

有了上面的前提，每个线程维护单独的缓冲区，缓存区大小就是c点提到的边界纪录大小。线程启动，把缓冲区读满，处理数据。此处有个要点，必须做文件锁，把要读的边界锁住。否则读出来的数据会产生混乱。（如果强行打开多个不同的文件不划算，内存占用可能会过多）。产生混乱的原因简单，读文件实际上是进行系统调用，系统调用有自己的缓冲区，这缓冲区未必跟你设置的缓冲区一样大。多次读多次移动指针，不加文件锁处理的数据必定会乱。

文件锁两种方式加锁，对整个文件加锁，对字节区间加锁。都不是什么难事。

实现方式1:对整个文件加锁，因为我们要保证的是读到的数据别混乱。

实现方式2:如果内存足够大，维护n个独立的文件描述符，这些文件描述符必须有独立的文件指针， *** 作系统上有对应实现。每个线程 *** 作未读纪录，这么做还需要维护共享的已读纪录指针。防止重复处理。这么做处理完成如果需要按顺序合并文件是难点。处理过的数据有新的纪录边界。要视实际情况而定能不能这么做。写程序要优先保证的是正确性，之后才是提升效率。

我说的理论，依据是 *** 作系统提供的api处理。别的语言要依赖 *** 作系统运行。原理差不多，目标语言有没有 *** 作系统提供的api强悍。依据使用的目标语言而定。绝大多数能叫编程语言的语言都会提供 *** 作系统api对应的方法。（脚本语言例外，如shell，perl，javascript，vbscript，就可能没这么强的控制能力。），java，objective-c，swift，php，python一般是不会有问题的。

①、对于你能写这么长的问题描述，说明你很认真。

②、你的目的性较强，但是你也想有更加明确的目标，我可以给你讲一下怎么自己去寻找目标和路线以及怎样学习。

③、计算机专业领域一共有几个大方向，十几个分支方向，而每个分支方向又有几十个小方向，每一个方向的深入学习与熟练到一定火候都不是一朝一夕，互相之间也不是完全没联系的，但是你现在就应该选择一个大方向并在其中的一个小方向内深入（为什么要这么早就选择具体的分支方向？后面说）。

④、这里列出计算机的几个大方向（非编程开发类的我就不说了）：

基本方向：

1、单片机、嵌入式方向

2、网络编程：涉及到服务器程序、客户端开发、脚本设计等。

3、系统编程：基础API开发、桌面开发、系统程序开发、服务程序

4、图形学：3D、2D、图像识别、人脸识别

5、音频：语音识别、音频解码、音频软件

6、编译原理：编译器设计、脚本解释器、虚拟机、非自然语言翻译系统

7、应用层开发：利用高层语言去开发表层应用

8、安全：反工程、病毒、反病毒、木马、反木马、软件破解、软件加壳

附加方向：

8、人工智能：遗传算法、神经网络、灰色系统等等

9、游戏设计：各种游戏引擎设计以及业务逻辑设计等

⑤、基本方向是你一定要选的，附加方向只是基于基本方向的一些锦上添花，但是不管你怎么选，最开始某些东西一定要深入而不是只是懂就够（当然你对自己要求似乎不会很低），我把这个列出来：

数据结构：下面其他理论的基础。

*** 作系统原理：理解 *** 作系统的架构和细节，你才能对以后关于多线程、文件管理、内存管理、指令优先级等有一个正确理解和运用。

编译原理：能够升华你对计算机编程语言的理解，对以后出现的各种编译、解释、兼容、移植、优化、并发与并行算法等有一个深入理解。

数据库系统原理：这个是进入公司都要会的，也是大型软件开发的基础。

软件工程：这个是你能够在经验不足还能保证大项目正常完成的理论基础。

网络技术：这个是必须学的，因为目前几乎没有一款装几率很高的软件或者平台跟网络无关。

数学的话，主要是：离散数学、线性代数、高等数学、计算机图形学、概率论

以上几个基础就是你成为一个融汇各个主要分支牛人必须学的（当然不是指理论，而是理论+实践编码能力）

⑥以上都是大的基础，要一一攻破并深入学习，虽然网络时代计算机专业知识爆炸式的增长，但是以上几个基础掌握后，会发现，以后的什么新的理论和技术都是基于这些大基础，你就很容易理解了。

⑦我为什么开头不讲你要具体学什么怎么顺序学呢？因为那些技术你要掌握的话，根本可以自己解决，但是如果你由于兴趣，沉迷于一些自己可见的小范围技术的话，那么毕业后虽然也能找到不错的工作，薪水也可能高，但是不能成为一个大牛。

现在才开始讲学习顺序，虽然你说不要推荐书，不过我还是要用书来做顺序。

C语言是可以写很多核心和高级的东西，而不只是小东西，但是从你代码来看，居然用到了 goto，我不是说你那些程序用到GOTO有什么不好，而是一定要避免用GOTO，goto是错误之源，如果你有什么内容非要用到goto才能写到，说明你的编码技巧还有不少提高空间。

你的学习顺序应该是：

C：做一个超级马里奥出来，并能够读取文本脚本来更新关卡。

C++：写一个2D图形引擎，封装掉细节，实现面向对象设计和可复用设计，并且用到《设计模式》中提到的一些设计模式，这样才能算对C++有一个很好的掌握。

MFC：MFC技术虽然近期已经冷下来了，但是你能熟练掌握它，才能证明你的C++OO技术够纯熟，严格证明你掌握了MFC很简单，你只要用MFC做出一个杀毒引擎就差不多了。推荐的书有《深入浅出MFC》。

《Windows程序设计》：和MFC不同的是，用的是windows核心SDK,也就是API，这本书学完后，你才能从 *** 作系统层面上算掌握了win32 平台下的机理（其实win64和win32大部分机理类似）。

C#：C#里集合了当代和前沿计算机科学里最先进的一些语法（虽然执行效率一直被人质疑），但是你学完C#并深入后，至少能够算是对计算机语言有一个更加深刻的理解了。如何证明你C#学的不错了？也很简单，再次写一个随便什么游戏，比如俄罗斯方块。如果更加证明自己呢？用它写一个P2P网络对战游戏。

（如果你注意的话，会发现我说的学习顺序都是沿着语言和某些技术的，为什么呢？因为这些语言和技术涉及到特定的领域技术和计算机理论思想，比如学完了C#的话，就不单指学完了C#，而是把多种语言范式都学习了一遍，以及现代的程序开发思维（因为里面用到了很多让你一劳永逸的技术））

以上5个步骤都是基础大步骤，要解决的话要没1-2年应该不够。

与此同时，要尽快选出文中你感兴趣的方向作为3-5年的长期方向，不要担心过早选择分支方向会有什么损失，因为计算机很多分支是相通的，只有你把分支方向深入进去，才能真正理解很多理论的实践意义。并且一旦你在某个分支领域形成了较强的优势（比如，到公司里只有你这方面最强），那么你就是稀缺人才。

关于大方向的步骤就不说了，你主要就是要把我说的这几个基础步骤先解决，同时平时要注重大方向理论结合实际去编码和开发。

---