mybatis generator 打印出来表了但是没有生成未见_Python丨深度学习中使用生成器加速数据读取与训练...

1、什么是生成器

我们可以把生成器理解为一个高端的列表。生成器就是一个集算法和列表还有依次读取于一体的功能。因为如果列表存储的内容过多就会造成内存的浪费。但是如果“列表”内的元素可以通过某种规则展示出来、且我们只需要前几项的元素，我们就可以通过使用生成器来进行。

2、生成器怎么用

# 列表的用法
a = [x for x in range(10)]
=>[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
# 生成器的用法
a = (x for x in range(10))
=><generator object <genexpr> at 0x0000027656609408>

我们输出的是一个generator。而列表打印的出来的就是元素。我们如何将generator的元素打印出来呢？使用next函数，将generator的元素打印出来。

next(b)
=>0
next(b)
=>1
next(b)
=>2
next(b)
=>3
next(b)
=>4
next(b)
=>5
........
#当元素超出时报错停止
next(b)
=>Traceback (most recent call last):File "<stdin>", line 1, in <module>
StopIteration

对于这种情况，我们不必一直使用next对其进行调用，我们可以使用使用for循环对其进行调用，这样就可以省去很多事情，便于操作。

这是一种简单的用法，下面我们将函数信息与生成器结合使用。其大致使用方法跟一般的函数（循环）的使用。

#使用generator达到生成器的效果
def fid(max):n, a, b = 0, 0 ,1while n < max:yield ba , b = b , a + bn += 1
f = fid(6)
=><generator object fid at 0x00000201278195E8>
next(f)
=>1
next(f)
=>1
next(f)
=>2
next(f)
=>3

我们可以看出yield的效果和return的效果差不都，但是yield不会使函数值返回，而是使得函数的值暂时挂起。我们使用next使得函数的值输出，这极大的提高了我们的效率。

3、生成器在深度学习中的应用

def xs_gen_pro(data,batch_size):lists = datanum_batch = math.ceil(len(lists) / batch_size)    # 确定每轮有多少个batchfor i in range(num_batch):if(i==0):np.random.shuffle(lists)batch_list = lists[i * batch_size : i * batch_size + batch_size]np.random.shuffle(batch_list)batch_x = np.array([x for x in batch_list[:,0]])batch_y = np.array([y for y in batch_list[:,1]])yield batch_x, batch_y

if __name__ == "__main__":#data_gen = xs_gen(data,5)for x,y in xs_gen(data,5):print("item",x,y)for x,y in xs_gen(data,5):print("item",x,y)

为了方便演示，上面是直接对列表进行读入操作，一般在用的时候是读取path列表，在按照path提取数据。

item [50 30 20 90 80] [5 3 2 9 8]
item [ 60   0 100 110  40] [ 6  0 10 11  4]
item [120  10 140 130 150] [12  1 14 13 15]
item [70] [7]
item [120  90  70  80 130] [12  9  7  8 13]
item [ 10 150 100   0  50] [ 1 15 10  0  5]
item [140  30  60  20 110] [14  3  6  2 11]
item [40] [4]

这样就可以很好的读取到数据了。