数据集处理

2018-11-06  本文已影响0人  西木_7a09

参考博客:http://www.cnblogs.com/hellcat/p/8569651.html

[数据读取类_data.Dataset]

Dataset支持一类特殊的操作:Transformation。一个Dataset通过Transformation变成一个新的Dataset。通常我们可以通过Transformation完成数据变换,打乱,组成batch,生成epoch等一系列操作。

常用的Transformation有:

map
batch
shuffle
repeat

map

和python中的map类似,map接收一个函数,Dataset中的每个元素都会被当作这个函数的输入,并将函数返回值作为新的Dataset。

batch

batch就是将多个元素组合成batch。

shuffle

shuffle的功能为打乱dataset中的元素,它有一个参数buffersize,表示打乱时使用的buffer的大小,建议舍的不要太小,一般是1000。

repeat

repeat的功能就是将整个序列重复多次,主要用来处理机器学习中的epoch,假设原先的数据是一个epoch,使用repeat(2)就可以将之变成2个epoch。

上一篇 下一篇

猜你喜欢

热点阅读