import os
data=pd.read_excel('/Users/kelan/Downloads/2月5日/安徽.xlsx')
a=data.columns
df_empty=pd.DataFrame(columns=a)
for parents,adds,filenames in os.walk('/Users/kelan/Downloads/2月5日'):
for filename in filenames:
#print(os.path.join(parents,filename))
data = pd.read_excel(os.path.join(parents,filename))
df_empty=df_empty.append(data,ignore_index=True)
df_empty.to_excel('/Users/kelan/Downloads/2月5日/11.xlsx')
注意中文写乎辩贺入,os.walk会返回3个参数,分别是路径,目录list,文件list,取第一灶饥个和最后一个,最后一个遍历。ignore_index可以忽略索引。开始先在pandas中建一个dataframe,岁派columns中填写行标
读文件
原型:open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True)
举例:f = open('test.txt', 'r')
test.txt表示文件路径(包含文件名,这个file参举缓备数可以是绝对或者相对路径)
r表示是读文本文件,rb是读二进制文本文件。(这个mode参数默认值就是r)
2)使用close()方法关闭文件
f.close()
打开后的文件必须关闭,因为文件对象会占用系统资源,系统打开文件数量也就有限了
3)打开文件时的异常处理
f=open('test.txt', 'r')
f.read()
f.close()
FileNotFoundError: [Errno 2] No such file or directory: 'test.txt'
文件读写时都有可能产生异常IOError(比如文件不存在),这样其后面的f.read(),f.close()就不会调用。为保证无论是否异常都可以关闭文件,一般使用try ... finally来处理:
try:
f = open('test.txt', 'r')
f.read()
finally:
if f:
哪数 f.close()
但这种写法过于繁琐,所以Python引入了with语句来自动调用close()方法:
with open('test.txt', 'r') as f:
f.read()
4)读文件 - read()、readline() 和 readlines()
read() 一次读取整个文件,它通常用于将文件内容放到一个字符串变量中。如果文件过大,内存不够,可以通过反复调用read(size)方法,每次最多读取size个字节的内容。
readline() 一次读取文件中一行内容,可反复调用
readlines() 一次读取所有内容并按行返回列表,该列表可以由for ... in ... 结构再进一步处理。
特别注意:
这三种方法是把每行末尾的'\n'也读进来了,如有需要就得我们手动去掉'\n'
with open('test.txt', 'r') as f:
list = f.readlines()
for i in range(0, len(list)):
list[i] = list[i].rstrip('\n')
写文件
1)写文件和读文件是一样的,唯一区别是open文件时,传入标识符不同,即'w'或者'wb'表示写文本文件或写二进制文件
f = open('test.txt', 'w')
f = open('test.txt', 'wb')
f = open('test.txt', 'a')
f.close()
特别注意:
1. 如果没有这个文件,会自动创建一个新文件;如果有,就会先把原文件的内容清空再写入;若不想清空原来的内容而是直接在后面追加新的内容,就用'a'这个模式
2. 写文件, *** 作系统往往不会立刻把数据写入磁盘,而是放到内存缓存起来,空闲的时候再慢慢写入。只有调用close()方法时, *** 作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘,剩下的丢失了。
2)写文件 - write()、writelines()
write()方法和read()、readline()方正毁法对应,是将字符串写入到文件中。
writelines()方法和readlines()方法对应,也是针对 列表 的 *** 作。它接收一个 字符串列表 作为参数,将他们写入到文件中。
特别注意:
换行符不会自动的加入,需要显式的加入换行符。
f = open('test.txt', 'w')
f.writelines(["111\n", "222\n", "333\n"])
补充说明:
1)对于非默认编码(utf-8)的文件,需要open时添加encording参数,选择对应的编码方式
2)r+, w+, a+,可读可写
3)seek()方法,移动文件指针
seek(offset[, whence]) ,offset是相对于某个位置的偏移量。位置由whence决定,默认whence=0,从开头起;whence=1,从当前位置算起;whence=2相对于文件末尾移动,通常offset取负值。
f = open("data.txt","r") #设置文件对象
f.close() #关闭文件
为了方便,避免忘记close掉这个文件对象,可以用下面这种方式替代
with open('data.txt',"r") as f: #设置文件对象
str = f.read()() #可以是随便对文件的 *** 作
f = open("data.txt","r") #设置文件对象
str = f.read() #将txt文族则缺件的所有内容读入到字符串str中
f.close() #将文件关闭
f = open("data.txt","r") #设置文件对象
line = f.readline()
line = line[:-1]
while line: #直到读取完文件
line = f.readline() #读盯悉取一行文件,包括换行符
line = line[:-1] #去掉换行符,也可以不去
f.close() #关闭文件
data = []
for line in open("data.txt","r"): #设置文件对象并读取每一行文件
data.append(line) #将每一行文件加入到list中
f = open("data.txt","r") #设置文件对象
data = f.readlines() #直接将文件中按行读到list里,效果与方法2一样
f.close() #关闭文件
可以使用pandas的.read_csv,读取文件的时候可以给每一列起名字,通过列名来调取相应列的数据。
import pandas as pd
data = pd.read_csv(" OSDO1012.txt",sep=',',header=None, names=['lat','lon','time','z']
使用data.lat就可以读取名为lat这一列的数据
data = np.loadtxt("data.txt",skiprows = 1) #将文件中数据加载到data数组里,并且跳过第一行
with open('data.txt','w') as f: #设置文件对象
f.write(str) #将字符串写入文件中
data = ['a','b','c']
单层列表写入文件
with open("data.txt","w") as f:
f.writelines(data)
每一项用空格隔开,一个列表是一行写入文件
data =[ ['a','b','c'],['a','b'兆辩,'c'],['a','b','c']]
with open("data.txt","w") as f: #设置文件对象
for i in data: #对于双层列表中的数据
i = str(i).strip('[').strip(']').replace(',','').replace('\'','')+'\n' #将其中每一个列表规范化成字符串
f.write(i) #写入文件
直接将每一项都写入文件
data =[ ['a','b','c'],['a','b','c'],['a','b','c']]
with open("data.txt","w") as f: #设置文件对象
for i in data: #对于双层列表中的数据
f.writelines(i) #写入文件
np.savetxt("data.txt",data) #将数组中数据写入到data.txt文件
np.save("data.txt",data) #将数组中数据写入到data.txt文件
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)