[tensorflow] initializer 参数初始化方法整理

使用tensorflow训练最重要的就是要得到参数,包括W, b,使损失函数达到最小值。
在训练开始前,往往要离不开参数初始化。

详细文档可参考:http://www.tensorfly.cn/tfdoc/api_docs/python/state_ops.html

以下对各种参数初始化方法做一个简要整理。Every function returns an Op that can be run, it means that you must use sess.run(op) to print the value except the property of the op.

1、tf.constant_initializer()

2、tf.truncated_normal_initializer()

初始化截断的正态分布

示例代码:

import tensorflow as tf 

# kernel shape
ks=[2,3]
#初始化卷积核
w=tf.get_variable('weight',shape=ks,initializer=tf.truncated_normal_initializer())
#初始化偏移量
b=tf.get_variable('bias',shape=[ks[-1]],initializer=tf.constant_initializer())

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print (w)
    print(sess.run(w))
    print(sess.run(b))

执行结果:

<tf.Variable 'weight:0' shape=(2, 3) dtype=float32_ref>
[[-0.01235651  1.8127841  -0.18910326]
 [-0.18857875  0.48627552  0.66549534]]
[0. 0. 0.]

3、tf.random_normal_initializer()
生成标准正态分布的随机数,参数和truncated_normal_initializer一样。

4、random_uniform_initializer = RandomUniform()
生成均匀分布的随机数,参数有四个(minval=0, maxval=None, seed=None, dtype=dtypes.float32),分别用于指定最小值,最大值,随机数种子和类型。

5、tf.uniform_unit_scaling_initializer()
和均匀分布差不多,只是这个初始化方法不需要指定最小最大值,是通过计算出来的。
参数为(factor=1.0, seed=None, dtype=dtypes.float32)

6、tf.variance_scaling_initializer()
参数为(scale=1.0,mode=”fan_in”,distribution=”normal”,seed=None,dtype=dtypes.float32)

7、tf.orthogonal_initializer()
生成正交矩阵的随机数
当需要生成的参数是2维时,这个正交矩阵是由均匀分布的随机数矩阵经过SVD分解而来

8、tf.glorot_uniform_initializer()
也称之为Xavier uniform initializer,由一个均匀分布(uniform distribution)来初始化数据
假设均匀分布的区间是[-limit, limit],则
limit=sqrt(6 / (fan_in + fan_out))
其中的fan_in和fan_out分别表示输入单元的结点数和输出单元的结点数。

9、glorot_normal_initializer()
也称之为 Xavier normal initializer. 由一个 truncated normal distribution来初始化数据.
stddev = sqrt(2 / (fan_in + fan_out))
其中的fan_in和fan_out分别表示输入单元的结点数和输出单元的结点数。

参考网页:http://www.bubuko.com/infodetail-2099623.html

该网页里写的API的简写, 在 tf.__version__==’1.5.0’的版本里,是不支持的。

 

Leave a Reply

Your email address will not be published.