pytorch自定义数据集

pytorch自定义数据集

在非练习的情况下，我们使用torch去做深度学习时首先面对的就是如何把未经处理的数据整合成torch能识别的tensor。为此，torch提供了抽象类Datasets。

要自定义数据集，首先要继承抽象类class torch.utils.data.Dataset，并且需要重载两个重要的函数：__len__ 和__getitem__，前者提供了数据集的大小，后者支持整数索引，范围从0到len(self)。

import torch
from torch.utils import data
class MyDataset(data.Dataset):
    def __init__(self):
        super(MyDataset, self).__init__()
        self.data = torch.randn(8,2)#八个数据，两个一组
    def __getitem__(self, index):
        img,label=self.data[index][0],self.data[index][1]
        return img,label
    def __len__(self):
        return self.data.size()[0]
mydata = MyDataset()

这样，我们自己的数据集就定义好了。接下来需要加载。

print(len(mydata))
data_loader = data.DataLoader(mydata,batch_size=2,shuffle=False)
for img,label in enumerate(data_loader):
    print(img,labbel)

这样就实现了类似CIFAR等官方数据集的效果，使用起来直接便利即可，也更方便。

前提是我们要将数据提前包装成对应shape的tensor，这就是数据预处理了，需要的是文件处理的知识。