-
参考
-
文件流程
-
csv读取流程
-
函数的流程
import tensorflow as tf
import os"""tensorflow中csv文件的读取1、 先找到文件,构造一个列表2、 构造一个文件队列3、 读取(read)队列内容csv: 读取一行二进制文件: 指定一个样本的bytes读取图片文件: 按一张一张的读取4、 解码(decode)tf.decode_csv(records, record_defaults=None,field_delim = None, name=None)5、 批处理(多个样本)批处理大小,和数量无关.取决于该批次处理数量的大小
"""def csvread(filelist):"""读取CSV文件:param filelist: 文件路径 + 名字列表:return: 读取的内容"""# 1. 构造文件队列file_queue = tf.train.string_input_producer(filelist)# 2. 构造csv阅读器读取reader = tf.TextLineReader()key, value = reader.read(file_queue)# 3. 对每行内容进行解密# record_defaults: 指定每一个样本额每一列的类型,指定默认值 [["None"], [4.0]]records = [["None"], ["None"]]example, label = tf.decode_csv(value, record_defaults=records)# 4. 想要读取多个,需要进行批处理example_batch, label_batch = tf.train.batch([example, label], batch_size=9, num_threads=1, capacity=9)print(example_batch, label_batch)return example_batch, label_batchif __name__ == "__main__":# 1、找到文件,放入列表 路径 + 名字file_name = os.listdir("./data/csvdata/")filelist = [os.path.join("./data/csvdata", file) for file in file_name]# print(file_name)example_batch, label_batch = csvread(filelist)# 开启会话运行结果with tf.Session() as sess:# 定义一个线程协调器coord = tf.train.Coordinator()# 开启读文件的线程threads = tf.train.start_queue_runners(sess, coord=coord)# 打印读取的内容print(sess.run([example_batch, label_batch]))# 把程序的图结构写入事件filewriter = tf.summary.FileWriter("./summary/", graph=sess.graph)# 回收子线程coord.request_stop()coord.join(threads)