将.tfrecords文件拆分为多个.tfrecords文件

将.tfrecords文件拆分为多个.tfrecords文件,第1张

将.tfrecords文件拆分为多个.tfrecords文件

您可以使用如下函数:

import tensorflow as tfdef split_tfrecord(tfrecord_path, split_size):    with tf.Graph().as_default(), tf.Session() as sess:        ds = tf.data.TFRecordDataset(tfrecord_path).batch(split_size)        batch = ds.make_one_shot_iterator().get_next()        part_num = 0        while True: try:     records = sess.run(batch)     part_path = tfrecord_path + '.{:03d}'.format(part_num)     with tf.python_io.TFRecordWriter(part_path) as writer:         for record in records:  writer.write(record)     part_num += 1 except tf.errors.OutOfRangeError: break

例如,要将文件

my_records.tfrecord
分成100条记录,您可以执行以下 *** 作:

split_tfrecord(my_records.tfrecord, 100)

这将创建多个较小的记录文件

my_records.tfrecord.000
my_records.tfrecord.001
等等。



欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5666786.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-16
下一篇 2022-12-16

发表评论

登录后才能评论

评论列表(0条)

保存