PyTorch深度学习实践(刘二大人)P7 处理多维特征的输入 Multiple Dimension Input

PyTorch深度学习实践(刘二大人)P7 处理多维特征的输入 Multiple Dimension Input

代码如下：

# 读取数据
import torch
import numpy as np

# np.loadtxt为读取文本文档的函数，默认分隔符为逗号，'delimiter'为分隔符
#读取时用32位的浮点数
xy = np.loadtxt('diabetes.csv.gz',delimiter=',',dtype=np.float32)
x_data = torch.from_numpy(xy[:,:-1])   # 第一个‘：’是指读取所有行，第二个‘：’是指从第一列开始，最后一列不要
y_data = torch.from_numpy(xy[:,[-1]])   # 要最后一列，且最后得到的是个矩阵，所以要加[]

# 建立模型
class Model(torch.nn.Module):
	def __init__(self):
		super(Model,self).__init__()
		self.linear1 = torch.nn.Linear(8,6)
		self.linear2 = torch.nn.Linear(6,4)
		self.linear3 = torch.nn.Linear(4,1)
		#self.sigmoid() 给模型添加一个非线性变换1/(1+e-z)
		#torch.nn.Sigmoid()作为一个运算模块继承至module，
		# 但这个模块没有参数，所以并不需要很多个，定义一个即可，拿它构建计算图
		self.sigmoid = torch.nn.Sigmoid()

	def forward(self,x):
		# 注意所有输入参数都使用x
		x = self.sigmoid(self.linear1(x))
		# O1
		x = self.sigmoid(self.linear2(x))
		# O2
		x = self.sigmoid(self.linear3(x))
		# Y_hat
		return x

model = Model()

# 构造损失和优化器
criterion = torch.nn.BCELoss(reduction='mean') #计算均值
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

# 训练
loss_list = []
epoch_list = []
for epoch in range(1000):
	y_pred = model(x_data)
	# 该项目并没有用mini-batch
	loss = criterion(y_pred,y_data)
	print(epoch,loss.item())
	loss_list.append(loss.item())
	epoch_list.append(epoch)

	optimizer.zero_grad()
	loss.backward()
	optimizer.step()


# 结果输出
from matplotlib import pyplot as plt
plt.plot(epoch_list,loss_list, linewidth = 1.5)
plt.xlabel("epoch")
plt.ylabel("loss")
plt.show()

运行图：

 

激活函数：

参考（常用激活函数（激励函数）理解与总结）：https://blog.csdn.net/tyhj_sf/article/details/79932893

 使用不同的激活函数：

当我们尝试不同的激活函数时，我们只需修改一小部分内容：
特别的，如果我们设置的激活函数是ReLU，由于它的取值范围是在（0，1），最后一层输出的值如果是小于0的话，那么在ReLU作用后，输出会为0，如果后面我们需要算ln0的话，就会出现问题。这个时候我们就可以把最后一层的激活函数改成sigmoid，这样结果就会得到0-1之间比较光滑的概率输出。

# 读取数据
import torch
import numpy as np

# np.loadtxt为读取文本文档的函数，默认分隔符为逗号，'delimiter'为分隔符
#读取时用32位的浮点数
xy = np.loadtxt('diabetes.csv.gz',delimiter=',',dtype=np.float32)
x_data = torch.from_numpy(xy[:,:-1])   # 第一个‘：’是指读取所有行，第二个‘：’是指从第一列开始，最后一列不要
y_data = torch.from_numpy(xy[:,[-1]])   # 要最后一列，且最后得到的是个矩阵，所以要加[]

# 建立模型
class Model(torch.nn.Module):
	def __init__(self):
		super(Model,self).__init__()
		self.linear1 = torch.nn.Linear(8,6)
		self.linear2 = torch.nn.Linear(6,4)
		self.linear3 = torch.nn.Linear(4,1)
		#self.sigmoid() 给模型添加一个非线性变换1/(1+e-z)
		#torch.nn.Sigmoid()作为一个运算模块继承至module，
		# 但这个模块没有参数，所以并不需要很多个，定义一个即可，拿它构建计算图
		self.activate = torch.nn.ReLU()

	def forward(self,x):
		# 注意所有输入参数都使用x
		x = self.activate(self.linear1(x))
		# O1
		x = self.activate(self.linear2(x))
		# O2
		x = torch.sigmoid(self.linear3(x))

		# Y_hat
		return x

model = Model()

# 构造损失和优化器
criterion = torch.nn.BCELoss(reduction='mean') #计算均值
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

# 训练
loss_list = []
epoch_list = []
for epoch in range(1000):
	y_pred = model(x_data)
	# 该项目并没有用mini-batch
	loss = criterion(y_pred,y_data)
	print(epoch,loss.item())
	loss_list.append(loss.item())
	epoch_list.append(epoch)

	optimizer.zero_grad()
	loss.backward()
	optimizer.step()


# 结果输出
from matplotlib import pyplot as plt
plt.plot(epoch_list,loss_list, linewidth = 1.5)
plt.xlabel("epoch")
plt.ylabel("loss")
plt.show()

运行图：