刘二大人 《PyTorch深度学习实践》——第8讲 加载数据集

刘二大人 《PyTorch深度学习实践》——第8讲 加载数据集（代码详解）

import numpy as np
import torch
from torch.utils.data import Dataset, DataLoader
class DiabetesDataset(Dataset):  # 定义一个糖尿病人数据集类，继承自Dataset
    def __init__(self, filepath):
        xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)  # 加载训练数据集
        self.len = xy.shape[0]  # shape本身是一个二元组（x,y）对应数据集的行数和列数，这里[0]我们取行数,即样本数
        self.x_data = torch.from_numpy(xy[:, :-1])  # 取前八列   第一个‘：’是指读取所有行，第二个‘：’是指从第一列开始，最后一列不要
        self.y_data = torch.from_numpy(xy[:, [-1]])  # 取最后一列    [-1] 最后得到的是个矩阵

    def __getitem__(self, index):  # dataset[index]将调用这个魔法函数
        return self.x_data[index], self.y_data[index]  # 返回元组

    def __len__(self):  # 这个魔法函数返回数据集的长度。


        return self.len


dataset = DiabetesDataset('diabetes.csv.gz')
print(len(dataset))
train_loader = DataLoader(dataset=dataset, batch_size=32, shuffle=True, num_workers=0) # 最后一个参数是用不用多线程
# Batch-Size：每一个Mini_batch训练时所用的样本数量；num_works并行化，然而windows下只能为0


```python
class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8, 6)
        self.linear2 = torch.nn.Linear(6, 4)
        self.linear3 = torch.nn.Linear(4, 1)
        self.sigmoid = torch.nn.Sigmoid()

    def forward(self, x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x)) # 将上面一行的输出作为输入
        x = self.sigmoid(self.linear3(x)) # 将上面一行的输出作为输入
        return x


model = Model()
criterion = torch.nn.BCELoss(reduction='mean')
# model.parameters()会扫描module中的所有成员，如果成员中有相应权重，那么都会将结果加到要训练的参数集合上
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

# Epoch：所有的训练样本都进行了一次前向传播和反向传播的过程。


for epoch in range(100):
    for i, data in enumerate(train_loader, 0): # enumerate可以获得当前是第几次迭代 0表示从0开始做枚举
        # 准备数据
        # loder里的数据解成X（inputs）和Y（labels） ；将输入的数据赋给inputs，结果赋给labels
        inputs, labels = data
        # Forward
        y_p = model(inputs) # 得到 y_hat
        loss = criterion(y_p, labels) # 得到loss
        print(epoch, i, loss.item())
        print("Epoch:", epoch, "i = ", i, "loss ={:.5f}".format(loss.item()))
        # Backward
        optimizer.zero_grad() # 梯度为0
        loss.backward() # 反向传播
        # Update
        optimizer.step() # 更新w和b的值