三、初识tf

使用 TensorFlow, 你必须明白 TensorFlow：

Tensorflow有一下几个简单的步骤：

• 使用 tensor 表示数据.
• 使用图 (graph) 来表示计算任务.
• 在会话（session)中运行图s

关于新版本

TensorFlow提供多种API。最低级API为您提供完整的编程控制。请注意，tf.contrib.learn这样的高级API可以帮助您管理数据集，估计器，培训和推理。一些高级TensorFlow API（方法名称包含的那些）contrib仍在开发中。某些contrib方法可能会在随后的TensorFlow版本中发生变化或变得过时。这个模块类似于scikit-learn中算法模型。

在 TF 中发生的所有事，都是在会话（Session） 中进行的。所以，当你在 TF 中编写一个加法时，其实你只是设计了一个加法操作，而不是实际添加任何东西。所有的这些设计都是会在图（Graph）中产生，你会在图中保留这些计算操作和张量，而不是具体的值。

图

TensorFlow程序通常被组织成一个构建阶段和一个执行阶段. 在构建阶段, op的执行步骤被描述成一个图. 在执行阶段, 使用会话执行执行图中的op。我们来构建一个简单的计算图。每个节点采用零个或多个张量作为输入，并产生张量作为输出。一种类型的节点是一个常数。像所有TensorFlow常数一样，它不需要任何输入，它输出一个内部存储的值。我们可以创建两个浮点型常量node1 ，node2如下所示：

node1 = tf.constant(3.0, tf.float32)
node2 = tf.constant(4.0)
print(node1, node2)

最终的打印声明生成

Tensor("Const:0", shape=(), dtype=float32) Tensor("Const_1:0", shape=(), dtype=float32)

他为什么不是输出结果，那是因为tensorflow中的图形节点操作必须在会话中运行，稍后介绍

构建图

构建图的第一步, 是创建源 op (source op). 源 op 不需要任何输入, 例如 常量 (Constant). 源 op 的输出被传递给其它 op 做运算.TensorFlow Python 库有一个默认图 (default graph), op 构造器可以为其增加节点. 这个默认图对 许多程序来说已经足够用了.，后面我们会接触多个图的使用

默认Graph值始终注册，并可通过调用访问 tf.get_default_graph()

import tensorflow as tf# 创建一个常量 op, 产生一个 1x2 矩阵. 这个 op 被作为一个节点,加到默认图中.构造器的返回值代表该常量 op 的返回值.
matrix1 = tf.constant([[3., 3.]])# 创建另外一个常量 op, 产生一个 2x1 矩阵.
matrix2 = tf.constant([[2.],[2.]])# 创建一个矩阵乘法 matmul op , 把 'matrix1' 和 'matrix2' 作为输入.返回值 'product' 代表矩阵乘法的结果.
product = tf.matmul(matrix1, matrix2)print tf.get_default_graph(),matrix1.graph,matrix2.graph

重要注意事项：此类对于图形构造不是线程安全的。所有操作都应从单个线程创建，或者必须提供外部同步。除非另有说明，所有方法都不是线程安全的

在会话中启动图

构造阶段完成后，才能启动图。启动图的第一步是创建一个Session对象，如果无任何创建参数，会话构造器将启动默认图。

调用Session的run()方法来执行矩阵乘法op, 传入product作为该方法的参数，会话负责传递op所需的全部输入，op通常是并发执行的。

# 启动默认图.
sess = tf.Session()# 函数调用 'run(product)' 触发了图中三个 op (两个常量 op 和一个矩阵乘法 op) 的执行.返回值 'result' 是一个 numpy `ndarray` 对象.
result = sess.run(product)
print result# 任务完成, 关闭会话.
sess.close()

Session对象在使用完后需要关闭以释放资源，当然也可以使用上下文管理器来完成自动关闭动作。

op

计算图中的每个节点可以有任意多个输入和任意多个输出，每个节点描述了一种运算操作（operation, op），节点可以算作运算操作的实例化（instance）。一种运算操作代表了一种类型的抽象运算，比如矩阵乘法、加法。tensorflow内建了很多种运算操作，如下表所示：

feed

TensorFlow还提供了feed机制, 该机制可以临时替代图中的任意操作中的tensor可以对图中任何操作提交补丁,直接插入一个 tensor。feed 使用一个 tensor 值临时替换一个操作的输入参数，从而替换原来的输出结果.

feed 只在调用它的方法内有效, 方法结束,feed就会消失。最常见的用例是将某些特殊的操作指定为"feed"操作, 标记的方法是使用 tf.placeholder() 为这些操作创建占位符.并且在Session.run方法中增加一个feed_dict参数

# 创建两个个浮点数占位符op
input1 = tf.placeholder(tf.types.float32)
input2 = tf.placeholder(tf.types.float32)#增加一个乘法op
output = tf.mul(input1, input2)with tf.Session() as sess:# 替换input1和input2的值print sess.run([output], feed_dict={input1:[7.], input2:[2.]})

如果没有正确提供feed, placeholder() 操作将会产生错误

五、张量操作

在tensorflow中，有很多操作张量的函数，有生成张量、创建随机张量、张量类型与形状变换和张量的切片与运算

生成张量

固定值张量

tf.zeros(shape, dtype=tf.float32, name=None)

创建所有元素设置为零的张量。此操作返回一个dtype具有形状shape和所有元素设置为零的类型的张量。

tf.zeros_like(tensor, dtype=None, name=None)

给tensor定单张量（），此操作返回tensor与所有元素设置为零相同的类型和形状的张量。

tf.ones(shape, dtype=tf.float32, name=None)

创建一个所有元素设置为1的张量。此操作返回一个类型的张量，dtype形状shape和所有元素设置为1。

tf.ones_like(tensor, dtype=None, name=None)

给tensor定单张量（），此操作返回tensor与所有元素设置为1 相同的类型和形状的张量。

tf.fill(dims, value, name=None)

创建一个填充了标量值的张量。此操作创建一个张量的形状dims并填充它value。

tf.constant(value, dtype=None, shape=None, name='Const')

创建一个常数张量。

用常数张量作为例子

t1 = tf.constant([1, 2, 3, 4, 5, 6, 7])t2 = tf.constant(-1.0, shape=[2, 3])print(t1,t2)

我们可以看到在没有运行的时候，输出值为：

(<tf.Tensor 'Const:0' shape=(7,) dtype=int32>, <tf.Tensor 'Const_1:0' shape=(2, 3) dtype=float32>)

一个张量包含了一下几个信息

• 一个名字，它用于键值对的存储，用于后续的检索：Const: 0
• 一个形状描述， 描述数据的每一维度的元素个数：（2，3）
• 数据类型，比如int32,float32

创建随机张量

一般我们经常使用的随机数函数 Math.random() 产生的是服从均匀分布的随机数，能够模拟等概率出现的情况，例如 扔一个骰子，1到6点的概率应该相等，但现实生活中更多的随机现象是符合正态分布的，例如20岁成年人的体重分布等。

假如我们在制作一个游戏，要随机设定许许多多 NPC 的身高，如果还用Math.random()，生成从140 到 220 之间的数字，就会发现每个身高段的人数是一样多的，这是比较无趣的，这样的世界也与我们习惯不同，现实应该是特别高和特别矮的都很少，处于中间的人数最多，这就要求随机函数符合正态分布。

tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)

从截断的正态分布中输出随机值，和 tf.random_normal() 一样，但是所有数字都不超过两个标准差

tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)

从正态分布中输出随机值，由随机正态分布的数字组成的矩阵

# 正态分布的 4X4X4 三维矩阵，平均值 0， 标准差 1
normal = tf.truncated_normal([4, 4, 4], mean=0.0, stddev=1.0)a = tf.Variable(tf.random_normal([2,2],seed=1))
b = tf.Variable(tf.truncated_normal([2,2],seed=2))
init = tf.global_variables_initializer()
with tf.Session() as sess:sess.run(init)print(sess.run(a))print(sess.run(b))输出：
[[-0.81131822  1.48459876][ 0.06532937 -2.44270396]]
[[-0.85811085 -0.19662298][ 0.13895047 -1.22127688]]

tf.random_uniform(shape, minval=0.0, maxval=1.0, dtype=tf.float32, seed=None, name=None)

从均匀分布输出随机值。生成的值遵循该范围内的均匀分布 [minval, maxval)。下限minval包含在范围内，而maxval排除上限。

a = tf.random_uniform([2,3],1,10)with tf.Session() as sess:print(sess.run(a))

tf.random_shuffle(value, seed=None, name=None)

沿其第一维度随机打乱

tf.set_random_seed(seed)

设置图级随机种子

要跨会话生成不同的序列，既不设置图级别也不设置op级别的种子：

a = tf.random_uniform([1])
b = tf.random_normal([1])print "Session 1"
with tf.Session() as sess1:print sess1.run(a)  print sess1.run(a)  print sess1.run(b)print sess1.run(b)  print "Session 2"
with tf.Session() as sess2:print sess2.run(a)print sess2.run(a)print sess2.run(b)print sess2.run(b)

要为跨会话生成一个可操作的序列，请为op设置种子：

a = tf.random_uniform([1], seed=1)
b = tf.random_normal([1])print "Session 1"
with tf.Session() as sess1:print sess1.run(a)print sess1.run(a)print sess1.run(b)print sess1.run(b)print "Session 2"
with tf.Session() as sess2:print sess2.run(a)print sess2.run(a)  print sess2.run(b)print sess2.run(b)

为了使所有op产生的随机序列在会话之间是可重复的,设置一个图级别的种子：

tf.set_random_seed(1234)
a = tf.random_uniform([1])
b = tf.random_normal([1])print "Session 1"
with tf.Session() as sess1:print sess1.run(a)print sess1.run(a)print sess1.run(b)print sess1.run(b)print "Session 2"
with tf.Session() as sess2:print sess2.run(a)print sess2.run(a)print sess2.run(b)print sess2.run(b)

我们可以看到结果

张量变换

TensorFlow提供了几种操作，您可以使用它们在图形中改变张量数据类型。

改变类型

提供了如下一些改变张量中数值类型的函数

• tf.string_to_number(string_tensor, out_type=None, name=None)
• tf.to_double(x, name='ToDouble')
• tf.to_float(x, name='ToFloat')
• tf.to_bfloat16(x, name='ToBFloat16')
• tf.to_int32(x, name='ToInt32')
• tf.to_int64(x, name='ToInt64')
• tf.cast(x, dtype, name=None)

我们用一个其中一个举例子

tf.string_to_number(string_tensor, out_type=None, name=None)

将输入Tensor中的每个字符串转换为指定的数字类型。注意，int32溢出导致错误，而浮点溢出导致舍入值

n1 = tf.constant(["1234","6789"])
n2 = tf.string_to_number(n1,out_type=tf.types.float32)sess = tf.Session()result = sess.run(n2)
print resultsess.close()

形状和变换

可用于确定张量的形状并更改张量的形状

• tf.shape(input, name=None)
• tf.size(input, name=None)
• tf.rank(input, name=None)
• tf.reshape(tensor, shape, name=None)
• tf.squeeze(input, squeeze_dims=None, name=None)
• tf.expand_dims(input, dim, name=None)

tf.shape(input, name=None)

返回张量的形状。

t = tf.constant([[[1, 1, 1], [2, 2, 2]], [[3, 3, 3], [4, 4, 4]]])
shape(t) -> [2, 2, 3]

静态形状与动态形状

静态维度 是指当你在创建一个张量或者由操作推导出一个张量时，这个张量的维度是确定的。它是一个元祖或者列表。TensorFlow将尽最大努力去猜测不同张量的形状（在不同操作之间），但是它不会总是能够做到这一点。特别是如果您开始用未知维度定义的占位符执行操作。tf.Tensor.get_shape方法读取静态形状

t = tf.placeholder(tf.float32,[None,2])
print(t.get_shape())

结果

动态形状 当你在运行你的图时，动态形状才是真正用到的。这种形状是一种描述原始张量在执行过程中的一种张量。如果你定义了一个没有标明具体维度的占位符，即用None表示维度，那么当你将值输入到占位符时，这些无维度就是一个具体的值，并且任何一个依赖这个占位符的变量，都将使用这个值。tf.shape来描述动态形状

t = tf.placeholder(tf.float32,[None,2])
print(tf.shape(t))

tf.squeeze(input, squeeze_dims=None, name=None)

这个函数的作用是将input中维度是1的那一维去掉。但是如果你不想把维度是1的全部去掉，那么你可以使用squeeze_dims参数，来指定需要去掉的位置。

import tensorflow as tfsess = tf.Session()
data = tf.constant([[1, 2, 1], [3, 1, 1]])
print sess.run(tf.shape(data))
d_1 = tf.expand_dims(data, 0)
d_1 = tf.expand_dims(d_1, 2)
d_1 = tf.expand_dims(d_1, -1)
d_1 = tf.expand_dims(d_1, -1)
print sess.run(tf.shape(d_1))
d_2 = d_1
print sess.run(tf.shape(tf.squeeze(d_1)))
print sess.run(tf.shape(tf.squeeze(d_2, [2, 4])))

tf.expand_dims(input, dim, name=None)

该函数作用与squeeze相反,添加一个指定维度

import tensorflow as tf
import numpy as npsess = tf.Session()
data = tf.constant([[1, 2, 1], [3, 1, 1]])
print sess.run(tf.shape(data))
d_1 = tf.expand_dims(data, 0)
print sess.run(tf.shape(d_1))
d_1 = tf.expand_dims(d_1, 2)
print sess.run(tf.shape(d_1))
d_1 = tf.expand_dims(d_1, -1)
print sess.run(tf.shape(d_1))

切片与扩展

TensorFlow提供了几个操作来切片或提取张量的部分，或者将多个张量加在一起

• tf.slice(input_, begin, size, name=None)
• tf.split(split_dim, num_split, value, name='split')
• tf.tile(input, multiples, name=None)
• tf.pad(input, paddings, name=None)
• tf.concat(concat_dim, values, name='concat')
• tf.pack(values, name='pack')
• tf.unpack(value, num=None, name='unpack')
• tf.reverse_sequence(input, seq_lengths, seq_dim, name=None)
• tf.reverse(tensor, dims, name=None)
• tf.transpose(a, perm=None, name='transpose')
• tf.gather(params, indices, name=None)
• tf.dynamic_partition(data, partitions, num_partitions, name=None)
• tf.dynamic_stitch(indices, data, name=None)

其它一些张量运算（了解查阅）

张量复制与组合

• tf.identity(input, name=None)
• tf.tuple(tensors, name=None, control_inputs=None)
• tf.group(inputs, *kwargs)
• tf.no_op(name=None)
• tf.count_up_to(ref, limit, name=None)

逻辑运算符

• tf.logical_and(x, y, name=None)
• tf.logical_not(x, name=None)
• tf.logical_or(x, y, name=None)
• tf.logical_xor(x, y, name='LogicalXor')

比较运算符

• tf.equal(x, y, name=None)
• tf.not_equal(x, y, name=None)
• tf.less(x, y, name=None)
• tf.less_equal(x, y, name=None)
• tf.greater(x, y, name=None)
• tf.greater_equal(x, y, name=None)
• tf.select(condition, t, e, name=None)
• tf.where(input, name=None)

判断检查

• tf.is_finite(x, name=None)
• tf.is_inf(x, name=None)
• tf.is_nan(x, name=None)
• tf.verify_tensor_all_finite(t, msg, name=None) 断言张量不包含任何NaN或Inf
• tf.check_numerics(tensor, message, name=None)
• tf.add_check_numerics_ops()
• tf.Assert(condition, data, summarize=None, name=None)
• tf.Print(input_, data, message=None, first_n=None, summarize=None, name=None)

六、变量的的创建、初始化、保存和加载

其实变量的作用在语言中相当，都有存储一些临时值的作用或者长久存储。在Tensorflow中当训练模型时，用变量来存储和更新参数。变量包含张量（Tensor）存放于内存的缓存区。建模时它们需要被明确地初始化，模型训练后它们必须被存储到磁盘。值可在之后模型训练和分析是被加载。

Variable类

tf.Variable.init(initial_value, trainable=True, collections=None, validate_shape=True, name=None)

创建一个带值的新变量initial_value

• initial_value:A Tensor或Python对象可转换为a Tensor.变量的初始值.必须具有指定的形状,除非 validate_shape设置为False.

• trainable:如果True，默认值也将该变量添加到图形集合GraphKeys.TRAINABLE_VARIABLES,该集合用作Optimizer类要使用的变量的默认列表

• collections:图表集合键列表,新变量添加到这些集合中.默认为[GraphKeys.VARIABLES]

• validate_shape:如果False允许使用未知形状的值初始化变量,如果True，默认形状initial_value必须提供.

• name:变量的可选名称,默认'Variable'并自动获取

变量的创建

创建当一个变量时，将你一个张量作为初始值传入构造函数Variable().TensorFlow提供了一系列操作符来初始化张量，值初始的英文常量或是随机值。像任何一样Tensor，创建的变量Variable()可以用作图中其他操作的输入。此外，为Tensor该类重载的所有运算符都被转载到变量中，因此您也可以通过对变量进行算术来将节点添加到图形中。

x = tf.Variable(5.0,name="x")
weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35),name="weights")
biases = tf.Variable(tf.zeros([200]), name="biases")

调用tf.Variable()向图中添加了几个操作：

• 一个variable op保存变量值。
• 初始化器op将变量设置为其初始值。这实际上是一个tf.assign操作。
• 初始值的ops，例如 示例中biases变量的zeros op 也被添加到图中。

变量的初始化

• 变量的初始化必须在模型的其它操作运行之前先明确地完成。最简单的方法就是添加一个给所有变量初始化的操作，并在使用模型之前首先运行那个操作。最常见的初始化模式是使用便利函数 initialize_all_variables()将Op添加到初始化所有变量的图形中。

init_op = tf.global_variables_initializer()with tf.Session() as sess:sess.run(init_op)

• 还可以通过运行其初始化函数op来初始化变量，从保存文件还原变量，或者简单地运行assign向变量分配值的Op。实际上，变量初始化器op只是一个assignOp，它将变量的初始值赋给变量本身。assign是一个方法，后面方法的时候会提到

with tf.Session() as sess:sess.run(w.initializer)

通过另一个变量赋值

你有时候会需要用另一个变量的初始化值给当前变量初始化，由于tf.global_variables_initializer()初始化所有变量，所以需要注意这个方法的使用。

就是将已初始化的变量的值赋值给另一个新变量！

weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35),name="weights")w2 = tf.Variable(weights.initialized_value(), name="w2")w_twice = tf.Variable(weights.initialized_value() * 0.2, name="w_twice")

所有变量都会自动收集到创建它们的图形中。默认情况下，构造函数将新变量添加到图形集合GraphKeys.GLOBAL_VARIABLES。方便函数 global_variables()返回该集合的内容。

属性

name

返回变量的名字

weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35),name="weights")
print(weights.name)

op

返回op操作

weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35))
print(weights.op)

方法

assign

为变量分配一个新值。

x = tf.Variable(5.0,name="x")
w.assign(w + 1.0)

eval

在会话中，计算并返回此变量的值。这不是一个图形构造方法，它不会向图形添加操作。方便打印结果

v = tf.Variable([1, 2])
init = tf.global_variables_initializer()with tf.Session() as sess:sess.run(init)# 指定会话print(v.eval(sess))# 使用默认会话print(v.eval())

变量的静态形状与动态形状

TensorFlow中，张量具有静态（推测）形状和动态（真实）形状

• 静态形状：

创建一个张量或者由操作推导出一个张量时,初始状态的形状

• tf.Tensor.get_shape:获取静态形状
• tf.Tensor.set_shape():更新Tensor对象的静态形状，通常用于在不能直接推断的情况下

• 动态形状：

一种描述原始张量在执行过程中的一种形状

• tf.shape(tf.Tensor):如果在运行的时候想知道None到底是多少,只能通过tf.shape(tensor)[0]这种方式来获得
• tf.reshape:创建一个具有不同动态形状的新张量

要点

1、转换静态形状的时候，1-D到1-D，2-D到2-D，不能跨阶数改变形状

2、 对于已经固定或者设置静态形状的张量／变量，不能再次设置静态形状

3、tf.reshape()动态创建新张量时，元素个数不能不匹配

4、运行时候，动态获取张量的形状值，只能通过tf.shape(tensor)[]

管理图中收集的变量

tf.global_variables()

返回图中收集的所有变量

weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35))print(tf.global_variables())