TensorFlow的op placementce

关于op在device上的placement策略,目前还没有比较好的方法,TensorFlow目前也只是用了比较简单的策略,细节如下:

   1,用户明确指定了设备号,就尊重用户的意愿,例如:当代码中有with tf.device(“/job:local/task:0/gpu:0”):或者with tf.device(“/job:local/task:0/cpu:0”):

时,就把对应op放到用户明确指定的设备上去。

   2,除了source和sink的其它节点,优先分配设备等级较高的,其中GPU等级高于CPU,因此一般都会被分配到GPU:0。但是有以下三种例外:

2.1,generator节点,也就是0个输入且只有1个输出的节点,这样的节点会被放置到和输出节点相同的设备上。

2.2,元操作节点,例如reshape,该元操作节点放置在被操作的节点上。

2.3,明显需要在CPU上执行的op。

 

   以上就是TensorFlow的placement算法,从以上可以看出,如果想用机器上的多个GPU卡,需要用户明确指出,不然会默认用编号为0的GPU卡。

   在第二步中,在处理2.1和2.2两种情况时,用并查集算法找到整个计算图中的连通分量,节点之间的关联关系就是根据2.1和2.2得到的。找到连通分量之后,有两种处理方式,(1)已知连通分量中某个节点放到哪个设备,就将该连通分量中的所有节点都放置到该设备;(2)连通分量中所有节点都没有被指定设备,则选择设备级别最高的设备放置。

Leave a Reply

Your email address will not be published. Required fields are marked *