python 文件写入内存

python 文件写入内存,第1张

BytesIO实现了在内存中读写bytes,我们创建一个BytesIO,然后写入一些bytes:

注意,写入的不是str,而是经过UTF-8编码的bytes。

可以用一个bytes初始化BytesIO,然后,像读文件一样读取:

和StringIO类似

文件的存储方式

在计算机中,文件是以二进制的方式保存在磁盘上的文本文件和二进制文件

文本文件可以使用文本编辑软件查看本质上还是二进制文件

二进制文件保存的内容不是给人直接阅读的,而是提供给其她软件使用的二进制文件不能使用文件编辑软件查看

文件基本 *** 作

在计算机中要 *** 作文件一共包含三个步骤:1.打开文件2.读、写文件

读 将文件内容读入内容写 将内存内容写入文件

模式描述

t文本模式 (默认)。

x写模式,新建一个文件,如果该文件已存在则会报错。

b二进制模式。

+打开一个文件进行更新(可读可写)。

U通用换行模式(不推荐)。

r以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。

rb以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。一般用于非文本文件如图片等。

r+打开一个文件用于读写。文件指针将会放在文件的开头。

rb+以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。一般用于非文本文件如图片等。

w打开一个文件只用于写入。如果该文件已存在则打开文件,并从开头开始编辑,即原有内容会被删除。如果该文件不存在,创建新文件。

wb以二进制格式打开一个文件只用于写入。如果该文件已存在则打开文件,并从开头开始编辑,即原有内容会被删除。如果该文件不存在,创建新文件。一般用于非文本文件如图片等。

w+打开一个文件用于读写。如果该文件已存在则打开文件,并从开头开始编辑,即原有内容会被删除。如果该文件不存在,创建新文件。

wb+以二进制格式打开一个文件用于读写。如果该文件已存在则打开文件,并从开头开始编辑,即原有内容会被删除。如果该文件不存在,创建新文件。一般用于非文本文件如图片等。

a打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。

ab以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。

a+打开一个文件用于读写。如果该文件已存在,文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在,创建新文件用于读写。

ab+以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。如果该文件不存在,创建新文件用于读写。

文件打开模式有很多,但是我们实际用到的就只有六种。

我们总结一下主要用到的是下面六种

模式可做 *** 作若文件不存在是否覆盖文件原来内容

r只读报错——

r+可读、可写报错是

w只写创建是

w+可读、可写创建是

a只写创建否,追加写

a+可读、可写创建否,追加写

只读模式打开文件——只读(r)

文件若不存在报错:

读写模式打开文件——读写模式(r+)

数据写入之前:

数据写入之后:

会替换掉相同长度的内容

文件若不存在报错:

写模式打开文件——写模式(w)

数据写入之前:

数据写入之后:

这种 *** 作会删除原来的文件内容,重新写入Python,

并且把光标放在文件最开始。

若文件不存在,系统会创建该文件夹并重新写入内容

读写模式打开文件——读写模式(w+)

数据写入之前:

数据写入之后:

这种 *** 作会删除原来的文件内容,重新写入Python,

并且把光标放在文件最开始。

若文件不存在,系统会创建该文件夹并重新写入内容

利用这个原理所以文件写模式(w)、读写模式(w+)还可以用作删除文件内容。

因为他们整个工作原理就是把文件原来的内容删除,然后写入新的内容。

如果我们写入的内容为空,那么不就是删除文件内容。

数据写入之前:

数据写入之后:

写模式打开文件(追加内容)——写模式(a)

数据写入之前:

数据写入之后:

可以看到是在原先内容的基础上在文末追加新的内容!

若文件不存在,系统会创建新的文件夹并写入内容

读写模式打开文件(追加内容)——读写模式(a)

数据写入之前:

数据写入之后:

可以看到是在原先内容的基础上在文末追加新的内容!

若文件不存在,系统会创建新的文件夹并写入内容

二进制模式打开文件

我们看到了在文件打开模式中有以下模式:rb、wb……有这种带 b 的。

什么意思呢?

就是用二进制的方式打开文件。

很明显,我们出现了以下错误:

主要原因是因为编码的问题,可能是因为0x82这个字节在gbk编码中没有这个字符,

可能原字符是两个字节,在gbk里被解析成了一个字节,导致字符不存在。

这就是我们文件打开方式需要使用二进制读取的原因。

文件 *** 作

open 函数负责打开文件,并且返回文件对象

read /write / close 三个方法都需要通过文件对象 来调用

文件和文件夹的 *** 作

在Python中⽂件和⽂件夹的 *** 作要借助os模块⾥⾯的相关功能,

具体步骤如下:

导⼊os模块

使⽤ os 模块相关功能

1、文件重命名

2、删除文件

3、创建文件夹

4、删除文件夹

5、获取当前目录

6、改变默认目录

7、获取目录列表

、python占内存大吗

2、python 最大能用多大存储空间

3、Python 多进程内存占用问题

4、python编程8g的内存够么

5、学习python语言需要用到什么软件,内存多大?

6、python对于电脑配置要求高吗

python占内存大吗

你是问python的安装包嘛,如果是的话大概29M左右就够了,不怎么占内存。

python 最大能用多大存储空间

这个是 *** 作系统的限制,跟python没有直接关系,因为python是没有限制的。

32位的系统:windows下单个进程可以用到2G内存linux下单个进程可以用到4G内存。

64位的系统:

windows下单个进程Intel Itanium-based可用到7TB,Windows 8.1和Windows Server 2012

R2:可用128,其它版本TBx64: 8 TB

但是不同版本windows系统可用的最大物理内存数也有限制,比如64位win7家庭基本版只能认出8G内存,专业版以上能认出192G内存。

linux下不同的发行商,或者不同的内核编译参数也会有也不同的限制,但都是按T计的。

Python 多进程内存占用问题

当我们有一个很长很长的任务队列(mission_list)和阈值对应的一个处理函数(missionFunction)时,我们一般采用如下的方式进行处理:

但是,如果这任务列表很长很长,处理函数很复杂(占用cpu)时,单核往往需要很长的时间进行处理,此时,Multiprocess便可以极大的提高我们程序的运行速度,相关内容请借鉴 multiprocessing --- 基于进程的并行 — Python 3.10.4 文档。

以上这种场景下,推荐大家采用最简单的进程池+map的方法进行处理,标准的写法, chunksize要借鉴官方的说法,最好大一点 :

但是!!!! 如果我们的任务列表非常的长,这会导致多进程还没跑起来之前,内存已经撑爆了,任务自然没法完成,此时我们有几种办法进行优化:

进程的启动方法有三种,可参考官方文档:

[图片上传失败...(image-48cd3c-1650511153989)]

在linux环境下,使用forkserver可以节省很多的内存空间, 因为进程启动的是一个服务,不会把主进程的数据全部复制

采用imap会极大的节省空间,它返回的是一个迭代器,也就是结果列表:

但注意,以上写法中,你写的结果迭代部分必须写在with下面。或者采用另一种写法:

还有最后一种,当你的mission list实在太大了,导致你在生成 mission list的时候已经把内存撑爆了,这个时候就得优化 mission_list了,如果你的mission_list是通过一个for循环生成的,你可以使用yield字段,将其封装为一个迭代器,传入进程池:

这样子,我们就封装好了mission_list,它是一个可迭代对象,在取数据的时候才会将数据拉到内存

我在项目中结合了后两种方法,原本256G的内存都不够用,但在修改后内存只占用了不到10G。希望能够帮助到你

python编程8g的内存够么

单纯的学习的话够,应用起来,干项目,请直接32gb,要不你会疯了的

学习python语言需要用到什么软件,内存多大?

我用的vscode写的,还不错,笔记本的话8G内存的主流笔记本基本都能胜任,它对硬件要求并不高

python对于电脑配置要求高吗

答: Python对于电脑配置要求并不算很高,只是当我们在下载玩 Python解释器之后,还是要安装集成开发环境。比如jupyter或者pycharn,前者经常用于数据分析。这个软件对于电脑配置要求并不高。但后者常用于开发大型Python项目,这个软件可能对电脑配置要求更高一些。所以说,编程开发的话,尽量还是选好一点的电脑。

python软件占多少内存的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于python要多少内存、python软件占多少内存的信息别忘了在本站进行查找喔。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/11816961.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-18
下一篇 2023-05-18

发表评论

登录后才能评论

评论列表(0条)

保存