如何制作像mnist，CIFAR-10格式的数据集

MNIST 数据集

混合的国家标准和技术 (简称 MNIST) 由红外研究员，作为基准来比较不同的红外算法创建数据集。 其基本思想是如果你有你想要测试红外的算法或软件的系统，可以运行您的算法或系统针对 MNIST 的数据集和比较您的结果与其他系统以前发布成果。

数据集包含的共 70,000 图像 ； 60,000 训练图像 （用于创建红外模型） 和 10,000 测试图像 （用于评估模型的精度）。 每个 MNIST 图像是一个单一的手写的数字字符的数字化的图片。 每个图像是 28 x 28 像素大小。 每个像素值是 0，表示白色，至 255，表示黑。 中间像素值表示的灰度级。 图 2 显示了训练集的前八位的图像。 对应于每个图像的实际数字是显然对人，但确定数字是非常困难的挑战的计算机。

图 2 首八 MNIST 训练图像

奇怪的是，训练数据和测试数据均存储在两个文件中，而不是在单个文件中。 其中一个文件包含图像的像素值和，另一个包含图像的标签信息 （0 到 9）。 每个的四个文件还包含标头信息，和所有的四个文件都存储在已经使用 gzip 格式压缩的二进制格式。

注意在图 1，该演示程序使用仅 60,000 项目训练集。 测试集的格式是相同的训练集。 MNIST 文游滑件的主存储库是目前位于 yann.lecun.com/exdb/mnist。 培训的像素数据存储在文件火车-图像-idx3-ubyte.gz 和培训标签数据存储在文件火车-标签-idx1-ubyte.gz。 若要运行该演示程序，您需要转到 MNIST 的存储库站点，下载并解压的两个培训数据文件。 将文件解压缩，我用的免费的开源 7-Zip 实用程序。

创建 MNIST 查看器

若笑磨渣要创建 MNIST 演示程序，我发起了 Visual Studio，创建一个名为 MnistViewer 的新 C# Windows 窗体项目。 演示有没有重大的.NET 版本依赖关系，因此，任何版本的 Visual Studio 应该工作。

模板代码加载到 Visual Studio 编辑器后，我设置的 UI 控件。 我添加了两个 TextBox 控件 (textBox1，textBox2) 要坚持两个解压后的培训文件的路径。 我添加一个按钮控件 (button1)，并给了它一个标签加载图像。 我添加了两个多个 TextBox 控件 （textBox3，textBox4） 以保存当前图像索引和下一个图像索引的值。 我使用 Visual Studio 设计器，分别设置"NA"和"0，"这些控件的初始值。

我添加了一个 ComboBox 控件 (comboBox1) 的图像放大倍数值。 使用设计器，我去到该控件的项集合，添加字符串"1"到"10"。我添加了第二个按钮控件 (button2)，并给了它一个标签的显示下一次。 我添加了 PictureBox 控件 (pictureBox1)，将其背景色属性设置为 ControlDark，以便看到控件的轮廓。 我将图片框大小设置为 280 x 280 允许最多 10 倍的放大倍率 （回顾碰悄 MNIST 图像是 28 x 28 像素为单位）。 我添加了第五个 （textBox5） 文本框以显示十六进制值的图像，然后将其多行属性设置为 True 和其字体属性设置为 8.25 磅 Courier New 和扩大其大小到 606 x 412。 而且，最后，我添加了一个列表框控件 （listBox1) 的日志记录消息。

后放置 UI 控件拖到 Windows 窗体，添加三个类范围字段：

public partial class Form1 : Form

{

private string pixelFile =

@"C:\MnistViewer\train-images.idx3-ubyte"

private string labelFile =

@"C:\MnistViewer\train-labels.idx1-ubyte"

private DigitImage[] trainImages = null

...

第一次两个字符串指向解压后的培训数据文件的位置。 你会需要编辑这些要运行演示的两个字符串。 第三个字段是一个程序定义 DigitImage 对象的数组。

我编辑窗体的构造函数略成 textBox1 和 textBox2 地点的文件路径，并给予放大倍数初始值 6：

public Form1()

{

InitializeComponent()

textBox1.Text = pixelFile

textBox2.Text = labelFile

comboBox1.SelectedItem = "6"

this.ActiveControl = button1

}

我用的 ActiveControl 属性来设置初始焦点到 button1 控件，只是为了方便。

其实就是python怎么读取binnary file

mnist的结构如下，选取train-images

TRAINING SET IMAGE FILE (train-images-idx3-ubyte):

[offset] [type] [value] [description]

0000 32 bit integer 0x00000803(2051) magic number

0004 32 bit integer 60000number of images

0008 32 bit integer 28 number of rows

0012 32 bit integer 28 number of columns

0016 unsigned byte ?? pixel

0017 unsigned byte ?? pixel

........

xxxx unsigned byte ?? pixel

也就是之前我们要读取4个 32 bit integer

试过很多方法，觉得最方便的，至少对我来键野说还是使用

struct.unpack_from()

filename = 'train-images.idx3-ubyte'

binfile = open(filename , 'rb')

buf = binfile.read()

先使用二进制方式把文件都读进来

index = 0

magic, numImages , numRows , numColumns = struct.unpack_from('>IIII' , buf , index)

index += struct.calcsize('>IIII')

然后使用struc.unpack_from

'>IIII'是说使用大端法读取4个unsinged int32

然后读取一个图片测试是否读取成功

im = struct.unpack_from('稿戚喊>784B' ,buf, index)

index += struct.calcsize('>784B')

im = np.array(im)

im = im.reshape(28,28)

fig = plt.figure()

plotwindow = fig.add_subplot(111)

plt.imshow(im , cmap='gray')

plt.show()

'>784B'的意思就是用大端法读取784个unsigned byte

完整代码如下

import numpy as np

import struct

import matplotlib.pyplot as plt

filename = 'train-images.idx3-ubyte'

binfile = open(filename , 'rb')

buf = binfile.read()

index = 0

magic, numImages , numRows , numColumns = struct.unpack_from('>IIII' , buf , index)

index += struct.calcsize('>IIII')

im = struct.unpack_from('>784B' ,buf, index)

index += struct.calcsize('>784B')

im = np.array(im)

im = im.reshape(28,28)

fig = plt.figure()

plotwindow = fig.add_subplot(111)

plt.imshow(im , cmap='gray')

plt.show()

只是为了测试是否成功所以只读仔拆了一张图片

---