c语言如何读写大型的txt文件

#include <stdio.h>

#include <string.h>

#define MAXSIZE 4000000

struct password {

char psw[12] // 密码名称

int counter  // 出现次数计数器

}

int Append(struct password a[], int *n, char psw[]) {

int i

for(i = 0 i < *n ++i) {

if(strcmp(a[i].psw,psw) == 0) {

++a[i].counter

return 2

}

}

if(*n < MAXSIZE) {

strcpy(a[*n].psw,psw)

a[*n].counter = 1

++(*n)

return 1

}

return 0

}

 

int main() {

struct password a[MAXSIZE]

char psw[12]

    int i,n = 0,id

char infilename[] = "indata.txt"

char outfilename[] = "outdata.txt"

FILE *inf,*outf

if((inf = fopen(infilename,"rt")) == NULL) {

printf("不能打开数据文件:%s。\n",infilename)

return 1

}

    while(fscanf(inf,"%d %11s",&id,psw) == 2) {

if(Append(a,&n,psw) == 0) break

}

fclose(inf)

if((outf = fopen(outfilename,"wt")) == NULL) {

printf("不能打开数据文件:%s。\n",outfilename)

return 2

}

for(i = 0 i < n ++i)

fprintf(outf,"%s %d\n",a[i].psw,a[i].counter)

fclose(outf)

return 0

}

先读一段比如100K，然后在这个100K的内存总查找"begin"，如果查不到，再读下一个100K，直到找到为止，如果相应的"end"不在这个段中，那么再继续读下面的段，直到找到结束标签为止。

----------------------------------------------------- 补充1

这个问题不难解决，在读数据的时候，需要多读一点，但是下次再读取的时候，不能仅接着上次的尾部读取了，而是应该倒退几个字符，倒退的数目应该是：最大特征字符长度 - 1。

下面是个简单的图解：

------------------|xxx 3 xxx|

---------|xxx 2 xxx|

|xxx 1 xxx|

################################################

一次性的new出一个特别巨大的内存，是一个愚蠢的做法，如果是一个大于4G的文件，那么你就会更加困难。虽然系统会自动的申请虚拟内存，但是这将极大的影响函数处理的速度，这也是我们国家软件行业所存在的通病，虽然很多程序也能够运行，但是效率与速度都相当的落后，我们应该把软件做的尽可能的快、智能、便捷、清丽。

写文件一般是追加快些

如果你要输出例如XML。

还有，每个进程应该有4G，靠 *** 作系统内存管理+页面文件维持、

还有，开个几百M的数组不划算、用malloc+free快些，可以动态的，不让 *** 作系统在加载时就开辟几百M，而是陆续的开——除非你在写汇编程序——汇编向OS申请内存很费劲，要 SYSCALL

---