思路:
可以用流来读取,并且每次读取二十条数据,存入缓存中buff,然后把这二十条数据清空,再读后面的数据以此类推,读完之后把缓存中的数据,一并写入到数据库中,你也可以在读取的时候把数据设大一点
文本文件存在数据冗余、数据共享麻烦、数据检索效率低、数据维护管理麻烦等等。。。
数据冗余:各种类型的数据使用文本方式存储必然存在冗余。
数据共享:多线程(每个客户端请求即一根线程)读取问题不大,但是多线程写入数据,必然存在冲突,因为在同一时刻只能有一个线程写入数据,并该线程关闭句柄后其它线程才能写入。
数据检索:缺少对数据检索的一系列优化(如:索引)
除以上缺点外还有数据库四大事务特性,如:原子性、一致性、隔离性、持久性,使用文本文件仅有“持久性”而已(除非你自己实现了数据库)。
XML 文件也是文本文件,存在上述的缺点。另外 XML 本身效率是很低的无法取代数据库(甚至效率比直接处理文本文件还要低,因为 XML 需要经过一系列的解析过程)。很多 XML 提供程序,是将 XML 文件全部加载到内存,所以感觉速度比较快,若是数据量较大,或多用户(多线程),那么效率就不容乐观了。
若使用租赁空间可以考虑使用 Access 数据库,不需要额外交钱的啦。
如果数据结构不是很复杂和超多的话
我觉得txt快
一般不使用txt的原因主要到不是安全问题
而是i/o问题
因为每次写入的时候会产生一个磁盘都写 如果访问量比较大的网站
这个读写会变的更加厉害
磁盘一般寿命不是很长
那个
server="xx"
是指计算机的地址,如本地可用
local
或127001
对于远程的服务器当然是要输入ip地址,因为网络上
那些计算机的名称可以随便个人取,而ip地址是统一分配的用于识别网络上计算机的地址的。
一次性全部插入速度快,最好是生成成文件,然后以文件形式导入,而以单挑记录插入,数据库每插入一条都要执行语法解析、生成执行计划、执行语句等过程,所以效率很低,小数据量不明显,大数据量就非常明显了。
以上就是关于c#读取文本文件,有几万行数据,读出来然后存到数据库,怎么提高读取效率和存储效率全部的内容,包括:c#读取文本文件,有几万行数据,读出来然后存到数据库,怎么提高读取效率和存储效率、小型网站能不能用txt文件代替数据库、php的,用数据库储存和读取数据快,还是用txt文件储、存读取数据快。不考虑安全问题等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)