[tensorflow] initializer 参数初始化方法整理

使用tensorflow训练最重要的就是要得到参数,包括W, b,使损失函数达到最小值。
在训练开始前,往往要离不开参数初始化。

详细文档可参考:http://www.tensorfly.cn/tfdoc/api_docs/python/state_ops.html

以下对各种参数初始化方法做一个简要整理。Every function returns an Op that can be run, it means that you must use sess.run(op) to print the value except the property of the op.

1、tf.constant_initializer()

2、tf.truncated_normal_initializer()

初始化截断的正态分布

示例代码:

import tensorflow as tf 

# kernel shape
ks=[2,3]
#初始化卷积核
w=tf.get_variable('weight',shape=ks,initializer=tf.truncated_normal_initializer())
#初始化偏移量
b=tf.get_variable('bias',shape=[ks[-1]],initializer=tf.constant_initializer())

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print (w)
    print(sess.run(w))
    print(sess.run(b))

执行结果:

<tf.Variable 'weight:0' shape=(2, 3) dtype=float32_ref>
[[-0.01235651  1.8127841  -0.18910326]
 [-0.18857875  0.48627552  0.66549534]]
[0. 0. 0.]

3、tf.random_normal_initializer()
生成标准正态分布的随机数,参数和truncated_normal_initializer一样。

4、random_uniform_initializer = RandomUniform()
生成均匀分布的随机数,参数有四个(minval=0, maxval=None, seed=None, dtype=dtypes.float32),分别用于指定最小值,最大值,随机数种子和类型。

5、tf.uniform_unit_scaling_initializer()
和均匀分布差不多,只是这个初始化方法不需要指定最小最大值,是通过计算出来的。
参数为(factor=1.0, seed=None, dtype=dtypes.float32)

6、tf.variance_scaling_initializer()
参数为(scale=1.0,mode=”fan_in”,distribution=”normal”,seed=None,dtype=dtypes.float32)

7、tf.orthogonal_initializer()
生成正交矩阵的随机数
当需要生成的参数是2维时,这个正交矩阵是由均匀分布的随机数矩阵经过SVD分解而来

8、tf.glorot_uniform_initializer()
也称之为Xavier uniform initializer,由一个均匀分布(uniform distribution)来初始化数据
假设均匀分布的区间是[-limit, limit],则
limit=sqrt(6 / (fan_in + fan_out))
其中的fan_in和fan_out分别表示输入单元的结点数和输出单元的结点数。

9、glorot_normal_initializer()
也称之为 Xavier normal initializer. 由一个 truncated normal distribution来初始化数据.
stddev = sqrt(2 / (fan_in + fan_out))
其中的fan_in和fan_out分别表示输入单元的结点数和输出单元的结点数。

参考网页:http://www.bubuko.com/infodetail-2099623.html

该网页里写的API的简写, 在 tf.__version__==’1.5.0’的版本里,是不支持的。

 

[tensorflow] 常用函数整理

1.tf.random_normal()
原型:random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
功能:产生一组符合正态分布的随机数据
参数:
shape: 一维的张量,也是输出的张量
mean: 正态分布的平均值
stddev: 正态分布的标准差
dtype: 输出的类型
seed: 随机数种子,一个整数,设置之后,每次生成的随机数都一样。让生成的随机数可控
name: 操作的名字

2.tf.truncated_normal()
原型:truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
功能:从截断的正态分布中输出随机值。生成的值服从具有指定平均值和标准偏差的正态分布,如果生成的值大于平均值2个标准偏差的值则丢弃重新选择。
参数:含义同tf.random_normal()

示例代码:

import tensorflow as tf

#  返回普通的正态分布随机值
a = tf.Variable(tf.random_normal([2,2]))

# 指定返回的正态分布随机数只能是在[-1,1]的范围内取值
b = tf.Variable(tf.truncated_normal([1,5],stddev=0.5))

init = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    print(sess.run(a))

print ('\n')
num=0
with tf.Session() as sess:
  while (num<5):
    # init如果放在while语句前面,循环中每次生成的随机数都一样
    sess.run(init)
    result_arr=sess.run(b)
    print(result_arr)
    num+=1

输出结果:

[[ 0.96797645 -0.22378281]
 [ 0.48484442 -1.3870438 ]]


[[ 0.4379561   0.3316845   0.13594626  0.17255506 -0.16520476]]
[[-0.03571    -0.07148687 -0.33317718  0.39912027  0.5691518 ]]
[[ 0.81705946 -0.28892836 -0.27838987 -0.07629658  0.97369707]]
[[ 0.5421042  -0.45518216  0.2038535  -0.3036928   0.0122734 ]]
[[-0.07813777  0.01990178  0.8251432   0.59219587  0.7987216 ]]

3.tf.nn.bias_add()
原型:bias_add(value, bias, data_format=None, name=None)
功能:将bias表示的偏移量加到value上,返回一个与value相同的张量。该函数大致与tf.add()功能相同,只是tf.add()支持bias的维度与value的最后一维不同。
参数:
value: 一个张量,数据类型必需属于这个范围:`float`, `double`, `int64`, `int32`, `uint8`,`int16`, `int8`, `complex64`, or `complex128`
bias: 一个一维张量,其数据维度必须与value的最后一个维度相同,数据类型必须与value相同

示例代码:

import tensorflow as tf

a=tf.constant([[1,1],[2,2],[3,3]],dtype=tf.float32)
b=tf.constant([1,-1],dtype=tf.float32)
c=tf.constant([1],dtype=tf.float32)

with tf.Session() as sess:
    print('tf.nn.bias_add:')
    print(sess.run(tf.nn.bias_add(a, b)))
    # 执行下面语句错误
    # print(sess.run(tf.nn.bias_add(a, c)))

    print('\ntf.add:')
    print(sess.run(tf.add(a, c)))

输出结果:

tf.nn.bias_add:
[[2. 0.]
 [3. 1.]
 [4. 2.]]

tf.add:
[[2. 2.]
 [3. 3.]
 [4. 4.]]