根据这三个影响边选择的三个因素,我们提出了两个选择指标:
指标1 :具有高的边重要性和高的边确定性的边将被选择,公式为:
指标2:在指标1的基础上,被选择的边也应该具有较高的稳定性:
这里,normalize(·)指 Min-Max标准化。
实验结果
我们搜索了CNN和GCN网络结构,并在CIFAR,ImageNet图像分类,ModelNet点云分类,PPI生物图数据节点分类上达到了SOTA效果。
CNN
我们将SGAS用到CNN的网络结构搜索中, CNN网络结构由普通单元(normalcell) 和 归约单元(reduction cell)组成。普通单元保持特征图大小不变,归约单元缩小特征图至. CNN任务中,搜索空间由8个运算组成:skip-connect,max-pool-3×3, avg-pool-3×3, sep-conv-3×3, sep-conv5×5, dil-conv-3×3,dil-conv-5×5, zero。
SGAS在CIFAR-10的训练集与验证集搜索结构,并在测试集上进行测试,结果如表1所示:
SGAS在CIFAR-10的训练集与验证集搜索结构,并在ImageNet测试集上进行测试,结果如表2所示:
我们的SGAS在性能超越了手工设计的网络结构以及其他NAS算法。