沐神动手深度学习 02 数据预处理

数据处理

# 实现几个函数来方便下载数据
# 创建一个人工数据集，并存储在csv（逗号分隔值）文件
import os
# os模块在python中包含普遍的 *** 作系统功能

os.makedirs(os.path.join('..', 'data'), exist_ok=True)  
# 创建一个DATA目录
# os.makedirs() 方法用于递归创建目录
# os.path.join 连接两个或者更多的路径名组件
# exist_ok：只有在目录不存在时创建目录，目录已存在时不会抛出异常
data_file = os.path.join('..', 'data', 'house_tiny.csv')
# 创建一个文件，并且遵循这个路径

with open(data_file, 'w') as f:
#                   write 打开一个文件只用于写入
    f.write('NumRooms,Alley,Price\n')
    f.write('NA,Pave,127500\n')
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

# 从创建的csv文件中加载原始数据集
import pandas as pd
# pandas 是基于NumPy的一种工具，该工具是为解决数据分析任务而创建的
data = pd.read_csv(data_file)
#        读取csv文件
print(data)
# 将数据打印出来

NumRooms Alley Price
0 NaN Pave 127500
1 2.0 NaN 106000
2 4.0 NaN 178100
3 NaN NaN 140000

# 为了处理缺失的数据，典型的方法包括插值和删除， 这里，我们将考虑插值
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
#               过索引来选取数据集中的相应
inputs = inputs.fillna(inputs.mean())
#           填补数据中的空缺值   求平均值
inputs

NumRooms Alley
0 3.0 Pave
1 2.0 NaN
2 4.0 NaN
3 3.0 NaN

# 对于inputs中的类别值或离散值，我们将“NaN”视为一个类别
inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)

NumRooms Alley_Pave Alley_nan
0 3.0 1 0
1 2.0 0 1
2 4.0 0 1
3 3.0 0 1

import torch
X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
X, y

(tensor([[3., 1., 0.],
[2., 0., 1.],
[4., 0., 1.],
[3., 0., 1.]], dtype=torch.float64),
tensor([127500, 106000, 178100, 140000]))