Gluon IO 使用方法

Gluon IO 使用方法中介绍了如何使用MXNet的IO接口。Gluon 是 MXNet提供的一个新的封装接口,非常容易在静态图和动态图之间转换,动态图在调试的时候非常有用,静态图在训练的时候速度更占优势。目前比较推荐使用Gluon接口。而且,Gluon封装了一个使用更加方便的IO接口,这里记录下Gluon的IO使用方法。

定义迭代器

首先要定义一个迭代器,每次调用的时候返回一个 data,label的pair对。
对于数据的预处理,例如data augment 等都可以在 __getitem__中进行。

1
2
3
4
5
6
7
8
9
10
11
class DataIter(gluon.data.Dataset):

def __init__(self, data, label):
self.data = data
self.label = label

def __getitem__(self, idx):
return sele.data[idx], self.label[idx]

def __len__(self):
return len(self.data)

Gluon 封装

使用Gluon 的 DataLoader 封装。

1
2
3
4
5
data_iter = DataIter(data, label)
data_iter = gluon.data.DataLoader(data_iter, batch_size, last_batch="rollover", shuffle=True)

for batch in data_ter:
data, label = batch

0%